第1章 大数据分析概述
本章内容
□ 大数据基本概念
□ 数据挖掘的产生与功能
□ 数据挖掘与相关学科的关系
□ 大数据研究方法
1.1 大数据概述
1.1.1 什么是大数据
20世纪90年代后期，以信息技术、计算机和网络技术等高新技术发展为标志，人类
社会迅速迈进一个崭新的数字时代。现代信息技术铺设了一条广阔的数据传输道路，将人
类的感官延伸到广袤的世界中。政府和企业通过大力发展信息平台和网络建设，改善了对
信息的交互、存储和管理的效率，从而提升了信息服务的水平；生物科学领域通过对分子
基因数据的解读重新诠释了生物体中细胞、组织、器官的生理、病理、药理的变化过程，从
而突破了人类在许多疑难杂症上的传统认识；市场研究人员通过谷歌住房搜索量的变化对
住房市场趋势进行预测，已明显比不动产经济学家的预测更为准确也更有效率；手机、互联
网、物联网，这些先进的信息传输平台，在生成-传播着大量数据的同时，也越来越多的改善
了人们的生活。总之，政府、科学和社会等各个领域的每个细胞，都被快速发展的信息技术
激活，畅游于信息海洋并获得认知效率的飞跃，沉浸于价值被认可的幸福与满足中。
精彩纷呈的数据也带来了利用数据的烦恼。日新月异的应用背后是数据量爆炸式增长
带来的大数据分析的挑战，2012 年 3 月 30 日美国国家卫生研究院宣布世界最大的遗传变
异研究数据集——国际千人基因组项目（截至目前数据已约达200 TB），数据量正在由太字
节（TB=1012B）向拍字节PB（=1015B）、艾字节EB（=1018B）、泽字节ZB（=1021B）甚至尧
字节YB（=1024B）升级，估计每两年就会增长三倍。
大数据是一个新概念，英文中至少有三种名称：大数据（big data），大尺度数据（big scale data）和大规模数据（massive data），尚未形成统一定义，维基百科、数据科学家、研究机构
和IT业界都曾经使用过大数据的概念，一致认为大数据具有四个基本特征：数据体量巨大；
一简答题4x5
二专业翻译3x15
三计算1x15
四算法描述
Why Data Mining?
there are some reasons below:
1.The explosive growth of data:from terabytes to petabytes
2.We are drowning in data but starving for knowledge
3.“Necessity is the mother of invention”,data mining can meet the need that automated
analysis of massive data sets.
What Is Data Mining?
Data Mining is the process of discovering interesting patterns from massive amounts of data.
as a knowledge discovery process, it typically involves :
data cleaning,data integration,data selection,data transformation,data mining,pattern
evaluation,knowledge presentation.
A Multi-Dimensional View of Data Mining
the major dimensions are data ,knowledge,technology,and application.
What Kinds of Data Can Be Mined?
as a general technology,data mining can be applied to any kind of data as long as the data are
第一章 数据仓库与数据挖掘概述
1.数据库与数据仓库的本质差别是什么？
答：数据库用于事务处理，数据仓库用于决策分析;数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据;数据仓库的数据是大量数据库的集成;对数据库的操作比较明确，操作数据量少,对数据仓库操作不明确，操作数据量大。
数据库是细节的、在存取时准确的、可更新的、一次操作数据量小、面向应用且支持管理；数据仓库是综合或提炼的、代表过去的数据、不更新、一次操作数据量大、面向分析且支持决策。
6.说明OLTP与OLAP的主要区别。
答：OLTP针对的是细节性数据、当前数据、经常更新、一次性处理的数据量小、对响应时间要求高且面向应用，事务驱动； OLAP针对的是综合性数据、历史数据、不更新，但周期性刷新、一次处理的数据量大、响应时间合理且面向分析，分析驱动。
8.元数据的定义是什么？
答：元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。
9.元数据与数据字典的关系什么？
答：在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。
18.说明统计学与数据挖掘的不同。
答：统计学主要是对数量数据（数值）或连续值数据（如年龄、工资等），进行数值计算（如初等运算）的定量分析，得到数量信息。
数据挖掘主要对离散数据（如职称、病症等）进行定性分析（覆盖、归纳等），得到规则知识。
19.说明数据仓库与数据挖掘的区别与联系。
答：数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信；数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。
数据仓库与数据挖掘都是决策支持新技术。但它们有着完全不同的辅助决策方式。在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。数据仓库和数据挖掘的结合对支持决策会起更大的作用。
1、
分类技术在很多领域都有应用，例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估；当前的市场营销中很重要的一个特点是强调客户细分。客户类别分析的功能也在于此，采用数据挖掘中的分类技术，可以将客户分成不同的类别，比如呼叫中心设计时可以分为：呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、其他，帮助呼叫中心寻找出这些不同种类客户之间的特征，这样的分类模型可以让用户了解不同行为类别客户的分布特征；其他分类应用如文献检索和搜索引擎中的自动文本分类技术；安全领域有基于分类技术的入侵检测等等。机器学习、专家系统、统计学和神经网络等领域的研究人员已经提出了许多具体的分类预测方法。
又如：信用卡核准过程，信用卡公司根据信誉程度，将一组持卡人记录为良好、一般和较差三类，且把类别标记赋给每个记录，如：“信誉良好的客户是那些收入在5万元以上，年龄在40-50岁之间的人士”。
2、
决策树是一种倒立的树结构，它由内部节点、叶子节点和边组成。其中最上面的一个节点叫根节点。 构造一棵决策树需要一个训练集，一些例子组成，每个例子用一些属性（或特征）和一个类别标记来描述。构造决策树的目的是找出属性和类别间的关系，一旦这种关系找出，就能用它来预测将来未知类别的记录的类别。这种具有预测功能的系统叫决策树分类器。 构造出的决策树有二叉树和多叉树，二叉树的内部节点一般表示为一个逻辑判断，如形式为(ai = vi )的逻辑判断，其中ai 是属性，vi是该属性的某个属性值；树的边是逻辑判断的分支结果。多叉树（如ID3）的内部节点是属性，边是该属性的所有取值，有几个属性值，就有几条边。树的叶子节点都是类别标记。
构造一个决策树分类器通常分为两步：树的生成和剪枝。其中树的生成是采用自上而下的递归方法。以多叉树为例，它的构造思路是，如果训练例子集合中的所有例子是同类的，则将之作为叶子节点，节点内容即是该类别标记。否则，根据某种策略选择一个属性，按照属性的各个取值，把例子集合划分为若干子集合，使得每个子集上的所有例子在该属性上具有同样的属性值。然后再依次递归处理各个子集。这种思路实际上就是“分而治之”（divide-and-conquer）的道理。二叉树同理，差别仅在于要选择一个好的逻辑判断。由此可以看出，节点处所选的属性不同，会构成不同的决策树，而不同的树，预测精度一般是不同的。因此，树构成步骤中，主要就是找出节点的属性和如何对属性值的划分。
