数据挖掘试卷分析

一、简答题 1、什么是数据挖掘？数据挖掘有哪些挖掘任务？请进行简要的解释。 答： 数据挖掘是一种技术，将传统的数据分析方法与处理大量数据的复杂算法相结合，从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用信息和知识的过程。简而言之，数据挖掘是从大量数据中挖掘有趣模式和知识的过程。

数据挖掘的任务主要有分类分析、聚类分析、关联分析、序列分析及时间序列。另外，还有孤立点分析、依赖关系分析、概念描述、偏差检测等。 1、分类分析(Classification Analysis) 分类就是找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是有制导的学习，它利用训练数据集通过一定的算法而求得分类规则。分类可被用于规则描述和预测，常应用于风险管理、广告投放等商业环境。 2、聚类分析(Clustering Analysis) 聚类又被称为分隔（segmentatio），聚类分析是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。聚类分析是无制导的学习，聚类分析与分类分析不同，它不依赖于没有事先确定的类，也没有已具有类标识的训练集。好的聚类分析算法应该使得所得到的聚簇内的相似性很高，而不同的聚簇间的相似性很低。 3、关联分析 (Association Analysis) 关联规则挖掘是由Rakesh Apwal等人首先提出的。两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阀值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。 最典型的应用是市场中购物篮分析。 4、序列分析及时间序列(Sequence Analysis and Time Sequence) 序列分析及时间序列是指通过序列信息或时间序列搜索出重复发生概率较高的模式。与回归一样，它也是用己知的数据预测未来的值，但这些数据的区别是变量所处的序列或时间的不同。

2、为什么要数据预处理？简要论述数据预处理步骤和每一步骤的任务 答：原始业务数据来自多个数据库或数据仓库，它们的结构和规则可能是不同的，这将导致原始数据非常的杂乱、不可用，即使在同一个数据库中，也可能存在重复的和不完整的数据信息，为了使这些数据能够符合数据挖掘的要求，提高效率和得到清晰的结果，必须进行数据的预处理。为数据挖掘算法提供完整、干净、准确、有针对性的数据，减少算法的计算量，提高挖掘效率和准确程度。 数据预处理步骤包含数据清理、数据集成、数据规约和数据变换。数据清理的任务是通过填充缺失值、光滑噪声并识别离群点、纠正数据中的不一致。将多个数据源中的数据结合起来存放在一个一致的数据存储中，有助于减少结果数据集的冗余和不一致，从而提高其后挖掘过程的准确性和速度。数据规约的任务是指在尽可能保持原始数据完整性的前提下，最大限度地精简数据量（缩小数据的取值范围）。这样，在归约后的数据集上挖掘将更有效，并产生相同(或几乎相同)的分析结果。数据变换的任务是对数据进行变换和统一，主要有规范化、离散化等策略，达到适用于挖掘的目的。

3、数据仓库相关？什么是OLAP？在数据仓库上经常进行哪些OLAP操作？请进行简要解释。 答： 建立数据仓库（特点见书P83）的目的有3个： 一是为了解决企业决策分析中的系统响应问题，数据仓库能提供比传统事务数据库更快的大规模决策分析的响应速度。 二是解决决策分析对数据的特殊需求问题。决策分析需要全面的、正确的集成数据，这是传统事务数据库不能直接提供的。 三是解决决策分析对数据的特殊操作要求。决策分析是面向专业用户而非一般业务员，需要使用专业的分析工具，对分析结果还要以商业智能的方式进行表现，这是事务数据库不能提供的。

建立数据仓库的方法：可以使用自顶向下方法、自底向上方法或者二者结合的混合方法建立 构造步骤：一般的，数据仓库的设计过程包含如下步骤：①选取待建模的商务处理②选取商务处理的粒度③选取用于每个事实表记录的维④选取事实表中每条记录的度量。

数据仓库与数据库的不同： 数据仓库是面向主题的,集成的,不易更改且随时间变化的数据集合,用来支持管理人员的决策, 数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成,是面向操作型的数据库,是组成数据仓库的源数据.它用表组织数据,采用ER数据模型.它们都为数据挖掘提供了源数据,都是数据的组合

OLAP是联机分析处理的简称，OLAP是一种软件技术，它使分析人员能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

OLAP的特性： OLAP是在OLTP的基础上发展起来的，以数据仓库为基础的数据分析处理，是共享多维信息的快速分析，是被专门设计用于支持复杂的分析操作，侧重对分析人员和高层管理人员的决策支持。 （1）快速性。用户对OLAP的快速反应能力有很高的要求。要求系统能在几秒钟内对用户的多数分析要求做出反应。 （2）可分析性。OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。尽管系统可以事先编程，但并不意味着系统定义了所有的应用。 （3）多维性。多维性是OLAP的关键属性。系统能够提供对数据分析的多维视图和分析，包括对层次维和多重层次维的支持。事实上，多维分析是分析企业数据最有效的方法，是OLAP的灵魂。 （4）信息性。不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。 （5）共享性。共享性是在大量用户间实现潜在地共享秘密数据所必须的安全需求。

OLAP的操作： (1) 上卷：上卷操作通过沿一个维的概念分层向上攀升或者通过维规约，对数据立方体进行聚集； (2) 下钻：下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入附加的维来实现；

(3) 切片和切块：切片操作对给定立方体的一个维进行选择，导致一个子立方体。切块操作通过对两个或多个维执行选择，定义子立方体；

(4) 转轴（旋转）：转轴是一种可视化操作，它转动数据的视角，提供数据的替代表示； (5) 其他OLAP操作：钻过执行涉及多个事实表的查询；钻透操作使用关系SQL机制，钻透数据立方体的底层，到后段关系表。

OLTP和OLAP的区别： 用户和系统的面向性:OLTP面向顾客，而OLAP面向市场； 数据内容：OLTP系统管理当前数据，而OLAP管理历史的数据； 数据库设计：OLTP系统采用实体-联系（ER)模型和面向应用的数据库设计，而OLAP系统通常采用星形和雪花模型； 视图：OLTP系统主要关注一个企业或部门内部的当前数据，而OLAP 系统主要关注汇总的统一的数据； 访问模式：OLTP访问主要有短的原子事务组成，而OLAP系统的访问大部分是只读操作，尽管许多可能是复杂的查询。

集中常用数据模型 星形模型: 最常见的模型范例是星形模式，其中数据仓库包括（1）一个大的包含大批数据并且不含冗余的中心表（事实表）；（2）一组小的附属表（维表），每维一个。中间是事实表，连接一组维表 雪花模式: 雪花模式是星型模式的变种，其中某些维表是规范化的，而数据进一步分解到附加的维表中，它的图形类似于雪花的形状 事实星座型: 多个事实表共享维表，这种模式可以看作星型模式及，因此称为星系模式或事实星座

4、简述什么是cluster samples，什么是stratified sample;，二者有何区别？ 答：如果D中的元组被分组，放入M个互不相交的簇，则可以得到s个簇的简单随机抽样，这样的抽样称为簇抽样；如果D被划分为互不相交的部分，称为层，则通过对每一层的简单随机抽样就能得到D的分层抽样。不同之处：①划分的依据不同；②抽样的方法不同；③适用范围不同。簇抽样需要抽取若干个簇，而分层抽样则是对每个层抽取一个子样本。分层抽样适用于界质分明的群体，而簇抽样适用于界质不清的总体。

5、简要论述bagging方法的基本思想，并举例说明 答：Bagging即套袋法，其算法过程如下：

从原始样本集中抽取训练集。每轮从原始样本集中使用有放回抽样的方法抽取n个训练样本（在训练集中，有些样本可能被多次抽取到，而有些样本可能一次都没有被抽中）。共进行k轮抽取，得到k个训练集。（k个训练集之间是相互独立的） 每次使用一个训练集得到一个模型，k个训练集共得到k个模型。（注：这里并没有具体的分类算法或回归方法，我们可以根据具体问题采用不同的分类或回归方法，如决策树、感知器等） 对分类问题：将上步得到的k个模型采用投票的方式得到分类结果；对回归问题，计算上述模型的均值作为最后的结果。（所有模型的重要性相同）

6、监督、无监督、半监督、强化学习 答：Supervised Learning的数据是有特征(feature)和标签(label)的。机器可以寻找到标签和特征之间的联系，当面对只有特征而没有标签的数据时，可以判断出标签。 与Supervised Learning（监督学习）相对的是Unsupervised Learning（无监督学习）。Supervised的数据只有特征（feature），没有标签（label）。这种问题在机器学习领域中就被称作聚类(Clustering)。在只有特征没有标签的训练数据集中，通过数据之间的内在联系和相似性将他们分成若干类。 处在监督学习和无监督学习之间的是半监督学习。Semi-Supervised Learning中使用的数据，有一部分是标记过的，而大部分是没有标记的。因此和监督学习相比，半监督学习的成本较低，但是又能达到较高的准确度。 强化学习也是使用未标记的数据，但是可以通过某种方法知道你是离正确答案越来越近还是越来越远（即奖惩函数）。可以把奖惩函数想象成正确答案的一个延迟的、稀疏的形式。在监督学习中，能直接得到每个输入的对应的输出。强化学习中，训练一段时间后，你才能得到一个延迟的反馈，并且只有一点提示说明你是离答案越来越远还是越来越近。