当前位置：文档之家 › 第7章 大数据分析与挖掘技术 大数据基础

第7章 大数据分析与挖掘技术 大数据基础

  • 格式：pptx
  • 大小：1.06 MB
  • 文档页数：37

下载文档原格式

  / 37

合集下载

大数据数据挖掘与智慧运营第七章增强性数据挖掘算法

大数据数据挖掘与智慧运营第七章增强性数据挖掘算法

7.1.2 构建组合分类器的方法
构建组合分类器的基本思想是，先构建多个分类器，称为基分类器，然后通过 对每个基分类器的预测进行投票来进行分类。下面介绍几种构建组合分类器的方法。 1. 处理训练数据集 这种方法通过对原始数据进行再抽样来得到多个不同的训练集，然后，使用某一 特定的学习算法为每个训练集建议一个分类器。对原始数据再抽样时，遵从一种特定 的抽样原则，这种原则决定了某一样本选为训练集的可能性的大小。后面章节中介绍 的装袋（Bagging）和提升（Boosting）就是两种处理训练数据集的组合方法。 2. 处理输入特征 这种方法通过随机或有标准地选择输入特征的子集，得到每个训练集。这种方法 非常适用于含有大量冗余特征的数据集，随机森林（Random forest）就是一种处理输 入特征的组合方法。
7.2
随机森林
什么是随机森林？顾名思义，是用随机的方式建立一个森林，森林由很多的决策 树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新 的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样 本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本 为那一类。随机森林是一种多功能的机器学习算法，能够执行回归和分类的任务。同 时，它也是一种数据降维手段，用于处理缺失值、异常值以及其他数据探索中的重要 步骤，并取得了不错的成效。另外，它还担任了集成学习中的重要方法，在将几个低 效模型整合为一个高效模型时大显身手。
A A B A B A B 图 7-1 A
B B B A
随机森林数据样本的随机选择过程
2. 随机选择特征 在构建决策树的时候，我们前面已经讲过如何在一个结点上，计算所有特征的 Information Gain（ID3）或者 Gain Ratio（C4.5），然后选择一个最大增益的特征作为 划分下一个子结点的走向。但是，在随机森林中，我们不计算所有特征的增益，而是 从总量为 M 的特征向量中，随机选择 m 个特征，其中 m 可以等于 sqrt（M），然后 计算 m 个特征的增益，选择最优特征（属性）。这样能够使得随机森林中的决策树 都能够彼此不同，提升系统的多样性，从而提升分类性能。注意，这里的随机选择特 征是无放回的选择。如图 7-2 所示，蓝色的方块代表所有可以被选择的特征，也就是 目前的待选特征。黄色的方块是分裂特征。左边是一棵决策树的特征选取过程，通过 在待选特征中选取最优的分裂特征（别忘了前文提到的 ID3 算法、C4.5 算法、CART 算法等），完成分裂。右边是一个随机森林中的子树的特征选取过程。 3. 构建决策树 有了上面随机产生的样本集，我们就可以使用一般决策树的构建方法，得到一棵 分类（或者预测）的决策树。需要注意的是，在计算结点最优分类特征的时候，我们

大数据技术及应用教学课件第7章 大数据分析挖掘-关联规则

大数据技术及应用教学课件第7章 大数据分析挖掘-关联规则
第7章
大数据分析挖掘—关联规则
主要内容
01
关联规则的概念
02
关联规则挖掘的一般过程
03
Apriori算法
04
FP-Growth算法
05
关联模式评估
大数据分析挖掘——关联规则
7.1基本概念
• 设 I {x1, x2,xm}是项目的集合，其中的元素称为项目 (item),一个集合被称为一个项集，包含k个项的集合称为 k-项集。
项集 支持度计数
{I1,I2} 1
{I1,I3} 2
{I1,I5} 1
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
4.比较候选项支持度计数与最小支持度min_sup，产生2维最大项目集：
项集 支持度计数
{I1,I3} 2
{I2,I3} 2
{I2,I5} 3
{I3,I5} 2
5.由L2 产生候选项集 C3，比较候选项支持度计数与最小支持度 min_sup，产生3维最大项目集 L3 ，至此算法终止。
• FP-Growth算法（Frequent Pattern-Growth）是另一种 找出频繁项集的方法，与先生成规则再筛选的Apriori算 法不同，FP-Growth算法是将数据库中符合频繁1-项集规 则的事务映射在一种图数据结构中，即FP树，而后据此 再生成频繁项集，整个过程只需要扫描两次数据集。
表7.1 某商店购物清单 Item 2
Item 3
1
香草华夫
香蕉
狗粮
2
香蕉
3
香蕉
4
香草华夫
5
面包
6
牛奶
7
香草华夫
8
酸奶
9

大数据基础与应用_北京理工大学中国大学mooc课后章节答案期末考试题库2023年

大数据基础与应用_北京理工大学中国大学mooc课后章节答案期末考试题库2023年

大数据基础与应用_北京理工大学中国大学mooc课后章节答案期末考试题库2023年1.大数据的特性不包括答案:分布地域广2.Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。

答案:正确3.网络和层次化数据可视化的主要技术有力导图和TreeMap。

答案:正确4.如下关于大数据分析流程的哪一项是正确的？答案:数据采集、数据清洗、数据管理、数据分析、数据呈现5.大数据分析与传统的数据分析的区别主要在于：答案:大数据分析的对象是大规模类型多样的海量数据，使用的模型较为复杂；而传统数据分析则作用在有限的小规模数据集上，模型较为简单。

_传统数据分析主要是描述性分析和诊断性分析，而大数据分析主要是预测性分析。

_大数据分析主要是为了发现新的规律和知识，而传统数据分析主要是为了了解正在发生的事件及其原因。

6.1、大数据主要是由于数据规模巨大、来源分散、格式多样，所以需要新的体系架构、技术、算法和分析方法来对这些数据进行采集、存储和关联分析，以期望能够从中抽取出隐藏的有价值的信息。

答案:正确7.数据科学家主要负责开发、构建、测试和维护系统，比如数据库和大规模处理系统答案:错误8.大数据分析的目的是从类型多样的海量数据中挖掘出隐藏的有价值的信息。

答案:正确9.大数据分析能够应用在哪些领域？答案:交通医疗足球零售天文政治10.Hive的数据模型主要包括：答案:表（Tables）_桶（Buckets）_分区（Partitions）11.NoSQL数据库的主要类型包括：答案:图形数据库_键值数据库_文档数据库_列族数据库12.下列数据类型中，不属于Python内置数据类型的是：答案:dtype13.以下不属于高维数据可视化技术的是.答案:词云14.以下哪个是常见的大数据处理流程.答案:数据获取、数据清洗、数据分析、数据可视化15.测得一组身高（cm）数据如下：176、165、173、168、176、180、177、168、174、176，则其众数和中位数分别是：答案:176, 17516.数据清洗的方法不包括答案:数据可视化17.以下哪个不属于分布式文件系统HDFS的特有特性答案:随机读写18.以下哪种方法不属于预测性（有监督学习）模型答案:关联分析19.Apriori算法的加速过程依赖于以下哪个策略答案:剪枝20.Spark是使用以下哪种编程语言实现的？答案:Scala21.大数据分析与传统数据分析的不同之处在于答案:大数据分析是预测性分析22.对字符串中某一子串执行replace（）操作后，再次对其进行一次输出，则输出结果与原字符串答案:一定相同23.请计算下列数据{10,12,16,18,22,35,45,50,90,100}的p=40%的截断均值_____答案:3124.过拟合指的是（）答案:模型在训练集上表现的很好，但是在交叉验证集合测试集上表现一般25.决策树的生成由两个阶段组成：_____、______答案:判定树构建树剪枝26.假设有四个样本分布在坐标系中，已知A区两点分别（2,5）和（1,4），B区（8,1）和（9,2），若使用KNN算法（距离使用欧氏距离【图片】），求M（4,3）属于哪一区？答案:A27.以下关于日志采集工具Flume的说法不正确的是：答案:Flume适用于大量数据的实时数据采集28.以下关于数据分发中间件Kafka的说法不正确的是：答案:Kafka主要是使用c++、Java语言实现的29.以下关于分布式文件系统HDFS的说法不正确的是：答案:HDFS支持多用户写入，任意修改文件30.HDFS集群中管理文件系统的元数据、负责客户端请求响应的节点是：答案:NameNode31.HDFS（Hadoop 1.X版本中）默认的块大小是：答案:64 MB32.以下关于分布式数据库HBase的说法不正确的是：答案:HBase比传统关系数据库系统具有更加丰富的数据类型33.已知p = np.arange(20).reshape((4,5))，则p[3][2]的值是。

大数据基础-第一章-大数据概述

大数据基础-第一章-大数据概述

大数据基础-第一章-大数据概述大数据基础-第一章-大数据概述1.1 引言大数据是近年来兴起的一个重要概念，其在各个领域的应用越来越广泛。

本章将介绍大数据的概念、特点以及对社会和经济的影响。

1.2 大数据的定义大数据是指规模巨大、类型多样、产生速度快且难以处理的数据。

它具有三个特点：即大容量、高速度和多样性。

大数据的处理需要利用先进的计算和分析技术。

1.3 大数据的特征1.3.1 大容量大数据的规模往往非常庞大，传统的数据处理方法很难应对如此大规模的数据量。

因此，处理大数据需要使用分布式计算和存储技术。

1.3.2 高速度大数据的产生速度非常快，比如社交媒体上的实时数据、物联网设备产生的数据等。

为了及时获取有用的信息，必须使用实时处理技术，对数据进行快速分析和响应。

1.3.3 多样性大数据包含多种类型的数据，如结构化数据（关系型数据库）、半结构化数据（XML、JSON等）和非结构化数据（文本、音频、视频等）。

这些数据的处理需要使用不同的技术和工具。

1.4 大数据对社会和经济的影响1.4.1 提供更准确的决策依据通过对大数据进行分析，可以获取更全面、准确的信息，为决策者提供更好的决策依据。

比如市场调研、用户行为分析等。

1.4.2 提升运营效率大数据的分析可以帮助企业识别潜在的问题和机遇，提升业务的效率和竞争力。

比如供应链管理、客户关系管理等。

1.4.3 推动科学研究和创新大数据的应用可以帮助科学家进行更深入的研究和创新。

比如基因组学研究、天文学研究等。

1.5 本章小结本章介绍了大数据的概念、特点以及对社会和经济的影响。

--------------------------附件：本文档没有涉及任何附件。

法律名词及注释：无。

第7章 大数据采集与预处理技术-大数据技术基础-宋旭东-清华大学出版社

第7章 大数据采集与预处理技术-大数据技术基础-宋旭东-清华大学出版社
Connectivity，开放数据库连接）的方式建立数据库链接——如SQL Server和Oracle之间。如果不能建立数据库链接，可以有两种方式完成， 一种是通过工具将源数据导出成.txt或者是.xls文件，然后再将这些源系统 文件导入到ODS（Operational Data Store，操作数据存储）中。另外一 种方法是通过程序接口来完成。
7.1 数据抽取转换加载技术
3）对于文件类型数据源(.txt,.xls)，可以培训业务人员利用数据库 工具将这些数据导入到指定的数据库，然后从指定的数据库中抽取。 或者还可以借助工具实现。
4）增量更新的问题 对于数据量大的系统，必须考虑增量抽取。一般情况下，业务系
统会记录业务发生的时间，我们可以用来做增量的标志,每次抽取之前 首先判断ODS中记录最大的时间，然后根据这个时间去业务系统取大 于这个时间所有的记录。
数据抽工抽取还是给予工具抽取)
表示抽取过程 进程的时间窗 口
决定如何处理 无法抽取的输 入记录
确认数据的源 系统及结构
确定数据抽 取的频率
决定抽取任务 的顺序
7.1 数据抽取转换加载技术
源系统的数据是以两种方式来存放的：当前值和周期性的状态
1）源系统中的大多数数据都是当前值类型，这里存储的属性值代表的 是当前时刻的属性值，但这个值是暂时的，当事物发生时，这个值就会发 生变化。
数据的转换。数据转换（数据的合并、汇总、过滤、转换等）、重新格 式化和计算数据、重新构建关键数据以及总结与定位数据。
数据的装载。将数据跨网络、操作平台装载到目标数据库中。
7.1 数据抽取转换加载技术
ETL的实现有多种方法，常用的有三种。
一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、 SQL Server2005的SSIS服务、Informatic等)实现，一种是SQL方式实现 ，另外一种是ETL工具和SQL相结合。

《大数据技术基础》-课程教学大纲

《大数据技术基础》-课程教学大纲

《大数据技术基础》课程教学大纲一、课程基本信息课程代码：16176903课程名称：大数据技术基础英文名称：Fundamentals of Big Data Technology课程类别：专业课学时：48学分：3适用对象: 软件工程，计算机科学与技术，大数据管理考核方式：考核先修课程：计算机网络，云计算基础，计算机体系结构，数据库原理，JA V A/Python 程序设计二、课程简介当前在新基建和数字化革命大潮下，各行各业都在应用大数据分析与挖掘技术，并紧密结合机器学习深度学习算法，可为行业带来巨大价值。

这其中大数据处理与开发框架等大数据技术是进行数字化，数智化应用建设的核心和基础，只有努力提升大数据处理与开发技术与性能，建立行业数字化和智能化转型升级才能成功。

大数据处理与开发技术是新基建和数字化革命核心与基础。

大数据技术基础课程，为学生搭建起通向“大数据知识空间”的桥梁和纽带，以“构建知识体系、阐明基本原理、引导初级实践、了解相关应用”为原则，为学生在大数据领域“深耕细作”奠定基础、指明方向。

课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。

在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。

同时本课程将介绍最前沿的业界大数据处理与开发技术和产品平台，包括阿里大数据服务平台maxcompute，华为大数据云服务平台FusionInsight，华为高性能分布式数据库集群GaussDB等业界最先进技术，以及国家大数据竞赛平台网站和鲸社区。

让学生学以致用，紧跟大数据领域最领先技术水平，同时，面对我国民族企业，头部公司在大数据领域取得的巨大商业成功与前沿技术成果应用产生强烈民族自豪感，为国家数字化经济与技术发展努力奋斗，勇攀知识高峰立下志向。

互联网行业智能化大数据分析与挖掘方案

互联网行业智能化大数据分析与挖掘方案第一章概述 (2)1.1 项目背景 (2)1.2 项目目标 (2)1.3 技术架构 (3)第二章数据采集与预处理 (3)2.1 数据来源 (3)2.2 数据采集方法 (4)2.3 数据清洗与预处理 (4)第三章数据存储与管理 (4)3.1 数据存储方案 (4)3.2 数据库设计 (5)3.3 数据安全与备份 (5)第四章数据分析与挖掘技术 (6)4.1 描述性统计分析 (6)4.2 关联规则挖掘 (7)4.3 聚类分析 (7)第五章数据可视化 (8)5.1 可视化工具选择 (8)5.2 可视化设计原则 (8)5.3 可视化应用案例 (8)第六章用户画像 (9)6.1 用户画像构建方法 (9)6.1.1 数据采集与预处理 (9)6.1.2 用户特征提取 (9)6.1.3 用户画像建模 (9)6.2 用户画像应用场景 (9)6.2.1 精准营销 (9)6.2.2 产品推荐 (10)6.2.3 风险防控 (10)6.2.4 用户服务优化 (10)6.3 用户画像优化策略 (10)6.3.1 数据源拓展 (10)6.3.2 特征工程优化 (10)6.3.3 模型迭代更新 (10)6.3.4 用户隐私保护 (10)6.3.5 人工智能技术应用 (10)第七章智能推荐系统 (10)7.1 推荐算法概述 (10)7.2 协同过滤算法 (11)7.3 深度学习在推荐系统中的应用 (11)第八章风险控制与预警 (12)8.1 风险类型识别 (12)8.2 预警模型构建 (13)8.3 风险控制策略 (13)第九章智能决策支持 (13)9.1 决策树模型 (14)9.1.1 概述 (14)9.1.2 构建方法 (14)9.1.3 应用场景 (14)9.2 神经网络模型 (14)9.2.1 概述 (14)9.2.2 构建方法 (14)9.2.3 应用场景 (14)9.3 模型评估与优化 (14)9.3.1 模型评估指标 (14)9.3.2 模型优化方法 (15)9.3.3 模型调参策略 (15)9.3.4 模型部署与监控 (15)第十章项目实施与运维 (15)10.1 项目实施计划 (15)10.2 运维管理策略 (15)10.3 项目评估与改进 (16)第一章概述1.1 项目背景互联网技术的飞速发展，大量的数据被产生、存储和传输。

《大数据基础》大数据分析与挖掘


5.1.1 数据挖掘起源
➢ 数据挖掘从诞生起就是一个直接面向实际应用的学科领域。 ➢ 大数据时代，数据增长是一个不容回避的棘手问题，数据的来
源包罗万象，归纳起来主要有三个重要来源。
● 人类社会在生产、生活、娱乐、教育、科研等各个方面产生的大量 数据蜂拥而至。 ● 人类自身的一举一动也产生了数据，拍摄照片、录制视频、网上社 交、电话、邮件以及网上购物等都会产生大量的数据。 ● 在物联网世界中，万事万物都在产生数据，而且是不受时间和空间 限制的。
5.1.2 数据挖掘定义
12
③ 数据挖掘的最终目标是获取知识，而这些知识往往具有局限性和针对性。 数据挖掘发现的知识首先要具备可接受、可理解、可运用的特征，但同时并 不要求发现的知识具有普适性，仅需要其在某个领域或者针对某种具体问题 时有效即可。
④ 知识来源于数据，但知识本身的表现形式是多种多样的。从数据中获 取的知识可以表现为概念、规则、模式、规律和约束等。
5.1 数据挖掘概述
7
➢ 数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特 殊关系性（属于Association rule learning）的信息的过程。
➢ 数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、 情报检索、机器学习、专家系统（依靠过去的经验法则）和模式 识别等诸多方法来实现上述目标。。
5.1.4 数字挖掘流程与模型
19
➢ 从数据本身来考虑，数据挖掘是通过分析每个数据，从大量数 据中寻找其规律的技术，需要经过数据准备、规律寻找和规律 表示的基本阶段。
➢ 数据准备是从相关的数据源中选取所需的数据并整合成用于数 据挖掘的数据集；规律寻找是用某种方法将数据集所包含的规 律找出来；规律表示是尽可能以用户可理解的方式（如可视化） 将找出的规律表示出来。这些阶段在具体操作上通常表现为以 下8个步骤。

大数据技术应用基础作业指导书

大数据技术应用基础作业指导书第1章大数据概述 (4)1.1 大数据定义与特征 (4)1.1.1 定义 (4)1.1.2 特征 (4)1.2 大数据应用领域与发展趋势 (4)1.2.1 应用领域 (4)1.2.2 发展趋势 (5)第2章数据采集与存储 (5)2.1 数据来源与采集技术 (5)2.1.1 网络数据采集 (5)2.1.2 传感器数据采集 (5)2.1.3 公共数据资源采集 (5)2.1.4 企业内部数据采集 (5)2.2 数据存储技术 (6)2.2.1 关系型数据库 (6)2.2.2 非关系型数据库 (6)2.2.3 分布式文件存储系统 (6)2.3 数据仓库与数据湖 (6)2.3.1 数据仓库 (6)2.3.2 数据湖 (6)第3章数据预处理 (6)3.1 数据清洗 (6)3.1.1 数据缺失处理 (7)3.1.2 异常值处理 (7)3.1.3 重复数据处理 (7)3.2 数据集成 (7)3.2.1 数据集成策略 (7)3.2.2 数据集成方法 (7)3.3 数据转换与归一化 (7)3.3.1 数据转换 (8)3.3.2 数据归一化 (8)第4章数据分析算法 (8)4.1 描述性统计分析 (8)4.1.1 集中趋势分析 (8)4.1.2 离散程度分析 (8)4.1.3 分布形态分析 (8)4.2 摸索性数据分析 (9)4.2.1 数据可视化 (9)4.2.2 数据挖掘方法 (9)4.2.3 异常值分析 (9)4.3 假设检验与预测分析 (9)4.3.1 假设检验 (9)4.3.2 预测分析 (10)4.3.3 模型评估与优化 (10)第5章数据挖掘技术 (10)5.1 关联规则挖掘 (10)5.1.1 概述 (10)5.1.2 关联规则挖掘算法 (10)5.1.3 应用实例 (10)5.2 聚类分析 (10)5.2.1 概述 (10)5.2.2 聚类算法 (11)5.2.3 应用实例 (11)5.3 分类与预测 (11)5.3.1 概述 (11)5.3.2 分类与预测算法 (11)5.3.3 应用实例 (11)第6章机器学习与深度学习 (11)6.1 机器学习基础 (11)6.1.1 机器学习概述 (11)6.1.2 机器学习算法 (12)6.1.3 模型评估与优化 (12)6.2 线性回归与逻辑回归 (12)6.2.1 线性回归 (12)6.2.2 逻辑回归 (12)6.2.3 回归模型评估 (12)6.3 神经网络与深度学习 (12)6.3.1 神经网络基础 (12)6.3.2 深度学习框架 (12)6.3.3 卷积神经网络（CNN） (12)6.3.4 循环神经网络（RNN） (12)6.3.5 对抗网络（GAN） (12)6.3.6 深度学习模型评估与优化 (13)第7章大数据可视化 (13)7.1 数据可视化基本概念 (13)7.1.1 可视化的目的 (13)7.1.2 可视化类型 (13)7.1.3 可视化流程 (13)7.2 常用可视化工具与技术 (13)7.2.1 常用可视化工具 (14)7.2.2 常用可视化技术 (14)7.3 可视化设计原则与案例 (14)7.3.1 可视化设计原则 (14)7.3.2 可视化案例 (14)第8章大数据应用实践 (15)8.1 大数据技术在金融领域的应用 (15)8.1.1 客户画像与精准营销 (15)8.1.2 信贷风险评估 (15)8.1.3 智能投顾 (15)8.1.4 交易欺诈检测 (15)8.2 大数据技术在医疗领域的应用 (15)8.2.1 疾病预测与预防 (15)8.2.2 临床决策支持 (16)8.2.3 药物研发 (16)8.2.4 健康管理 (16)8.3 大数据技术在智慧城市中的应用 (16)8.3.1 智能交通 (16)8.3.2 环境监测 (16)8.3.3 公共安全 (16)8.3.4 城市规划 (16)8.3.5 智能家居 (16)第9章大数据安全与隐私保护 (16)9.1 数据安全概述 (16)9.1.1 大数据安全背景 (17)9.1.2 安全威胁 (17)9.1.3 安全策略 (17)9.2 数据加密与安全存储 (17)9.2.1 数据加密算法 (17)9.2.2 加密技术在存储设备中的应用 (17)9.2.3 安全存储方案 (17)9.3 隐私保护技术 (17)9.3.1 隐私保护技术 (17)9.3.2 隐私泄露途径 (18)9.3.3 隐私保护策略 (18)第10章大数据未来发展趋势与挑战 (18)10.1 新一代大数据技术 (18)10.1.1 概述 (18)10.1.2 新技术发展趋势 (18)10.2 大数据与云计算、物联网的融合 (18)10.2.1 概述 (18)10.2.2 云计算与大数据 (18)10.2.3 物联网与大数据 (18)10.3 大数据面临的挑战与解决方案 (19)10.3.1 数据安全与隐私保护 (19)10.3.2 数据质量与数据治理 (19)10.3.3 数据存储与管理 (19)10.3.4 数据分析与挖掘算法 (19)10.3.5 人才培养与知识普及 (19)第1章大数据概述1.1 大数据定义与特征1.1.1 定义大数据（Big Data）指的是传统数据处理应用软件难以捕捉、管理和处理的在一定时间范围内迅速增长的、复杂的数据集合。

林子雨大数据技术原理及应用第七章课后题答案

《大数据技术第七章课后题答案黎狸1.试述MapReduce和Hadoop的关系。

谷歌公司最先提出了分布式并行编程模型MapReduce, Hadoop MapReduce是它的开源实现。

谷歌的MapReduce运行在分布式文件系统GFS 上，与谷歌类似，HadoopMapReduce运行在分布式文件系统HDFS上。

相对而言，HadoopMapReduce 要比谷歌MapReduce 的使用门槛低很多，程序员即使没有任何分布式程序开发经验，也可以很轻松地开发出分布式程序并部署到计算机集群中。

2.MapReduce 是处理大数据的有力工具，但不是每个任务都可以使用MapReduce来进行处理。

试述适合用MapReduce来处理的任务或者数据集需满足怎样的要求。

适合用MapReduce来处理的数据集，需要满足一个前提条件: 待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。

3.MapReduce 模型采用Master(JobTracker)-Slave(TaskTracker)结构，试描述JobTracker 和TaskTracker的功能。

MapReduce 框架采用了Master/Slave 架构，包括一个Master 和若干个Slave。

Master 上运行JobTracker,Slave 上运行TaskTrackero 用户提交的每个计算作业，会被划分成若千个任务。

JobTracker 负责作业和任务的调度，监控它们的执行，并重新调度已经失败的任务。

TaskTracker负责执行由JobTracker指派的任务。

4.;5.TaskTracker 出现故障会有什么影响该故障是如何处理的6.MapReduce计算模型的核心是Map函数和Reduce函数,试述这两个函数各自的输人、输出以及处理过程。

Map函数的输人是来自于分布式文件系统的文件块，这些文件块的格式是任意的，可以是文档，也可以是二进制格式。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据挖掘，也称为知识发现，是从海量数据中寻找有价值规律或模式的过程，在机器学习等领域有广泛应用。数据挖掘技术包括分类、聚类、关联分析等。其中，分；关联分析是找出事物间的规律性。时序模式分析则预测未来值，偏差分析关注异常点。Mahout是Apache的开源机器学习库，实现了推荐、聚类、分类等算法，利用Hadoop进行大数据分析。推荐算法通过用户行为预测其喜好，有基于用户和基于物品两种模式。评估推荐程序使用查准率和查全率。进行推荐时，需度量用户或物品间的相似度，方法有皮尔逊相关系数等。基于用户的推荐依据用户相似性，通过参考相似用户的偏好进行推荐；基于物品的推荐则依据物品间的相似度。