数据挖掘部分课后习题

1.1什么是数据挖掘？（a）它是一种广告宣传吗？（d）它是一种从数据库、统计学、机器学和模式识别发展而来的技术的简单转换或应用吗？（c）我们提出一种观点，说数据挖掘是数据库进化的结果，你认为数据挖掘也是机器学习研究进化的结果吗？你能结合该学科的发展历史提出这一观点吗？针对统计学和模式知识领域做相同的事（d）当把数据挖掘看做知识点发现过程时，描述数据挖掘所涉及的步骤答：数据挖掘比较简单的定义是：数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们所不知道的、但又是潜在有用信息和知识的过程。

数据挖掘不是一种广告宣传，而是由于大量数据的可用性以及把这些数据变为有用的信息的迫切需要，使得数据挖掘变得更加有必要。

因此，数据挖掘可以被看作是信息技术的自然演变的结果。

数据挖掘不是一种从数据库、统计学和机器学习发展的技术的简单转换，而是来自多学科，例如数据库技术、统计学，机器学习、高性能计算、模式识别、神经网络、数据可视化、信息检索、图像和信号处理以及空间数据分析技术的集成。

数据库技术开始于数据收集和数据库创建机制的发展，导致了用于数据管理的有效机制，包括数据存储和检索，查询和事务处理的发展。

提供查询和事务处理的大量的数据库系统最终自然地导致了对数据分析和理解的需要。

因此，出于这种必要性，数据挖掘开始了其发展。

当把数据挖掘看作知识发现过程时，涉及步骤如下：数据清理，一个删除或消除噪声和不一致的数据的过程；数据集成，多种数据源可以组合在一起；数据选择，从数据库中提取与分析任务相关的数据；数据变换，数据变换或同意成适合挖掘的形式，如通过汇总或聚集操作；数据挖掘，基本步骤，使用智能方法提取数据模式；模式评估，根据某种兴趣度度量，识别表示知识的真正有趣的模式；知识表示，使用可视化和知识表示技术，向用户提供挖掘的知识1.3定义下列数据挖掘功能：特征化、区分、关联和相关性分析、分类、回归、聚类、离群点分析。

2.1再给三个用于数据散布的常用特征度量（即未在本章讨论的），并讨论如何在大型数据库中有效的计算它们答：异众比率：又称离异比率或变差比。

是非众数组的频数占总频数的比率应用：用于衡量众数的代表性。

主要用于测度定类数据的离散程度，定序数据及数值型数据也可以计算。

还可以对不同总体或样本的离散程度进行比较计算：标准分数：标准分数（standard score）也叫z分数（z-score）,是一个分数与平均数的差再除以标准差的过程。

用公式表示为：z=(x-μ)/σ。

其中x为某一具体分数，μ为平均数，σ为标准差。

Z值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。

在原始分数低于平均值时Z则为负数，反之则为正数。

计算：Z=（x-μ)/σ其中μ= E( X) 为平均值、σ² = Var( X) X的概率分布之方差若随机变量无法确定时，则为算术平均数离散系数：离散系数，又称“变异系数”，是概率分布离散程度的一个归一化量度，其定义为标准差与平均值之比。

计算：CV=σ/μ极差（全距）系数：Vr=R/X’；平均差系数：Va，d=A.D/X’；方差系数：V方差=方差/X’；标准差系数：V标准差=标准差/X’；其中，X’表示X的平均数。

平均差：平均差是总体所有单位的平均值与其算术平均数的离差绝对值的算术平均数。

平均差是一种平均离差。

离差是总体各单位的标志值与算术平均数之差。

因离差和为零，离差的平均数不能将离差和除以离差的个数求得，而必须讲离差取绝对数来消除正负号。

平均差是反应各标志值与算术平均数之间的平均差异。

平均差异大，表明各标志值与算术平均数的差异程度越大，该算术平均数的代表性就越小；平均差越小，表明各标志值与算术平均数的差异程度越小，该算术平均数的代表性就越大。

计算：平均差=(∑|x-x'|)÷n,其中∑为总计的符号，x为变量，x'为算术平均数，n为变量值的个数。

1.4 数据仓库和数据库有何不同？有哪些相似之处？答：区别：数据仓库是面向主题的，集成的,不易更改且随时间变化的数据集合，用来支持管理人员的决策，数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成,是面向操作型的数据库,是组成数据仓库的源数据。

它用表组织数据，采用ER数据模型.相似:它们都为数据挖掘提供了源数据，都是数据的组合.1。

3 定义下列数据挖掘功能:特征化、区分、关联和相关分析、预测聚类和演变分析。

使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。

答:特征化是一个目标类数据的一般特性或特性的汇总。

例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓,这些特征包括作为一种高的年级平均成绩（GPA：Grade point aversge)的信息,还有所修的课程的最大数量.区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。

例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较.最终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75％是四年级计算机科学专业的学生,而具有低GPA 的学生的65％不是。

关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件.例如,一个数据挖掘系统可能发现的关联规则为：major(X，“computing science”) ⇒ owns(X, “personal computer”)［support=12％， confidence=98%] 其中，X 是一个表示学生的变量。

这个规则指出正在学习的学生，12％（支持度)主修计算机科学并且拥有一台个人计算机。

这个组一个学生拥有一台个人电脑的概率是98％(置信度，或确定度）.分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或功能），而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。

（完整版）数据挖掘概念课后习题答案第 1 章1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。

使⽤你熟悉的现实⽣活的数据库，给出每种数据挖掘功能的例⼦。

特征化是⼀个⽬标类数据的⼀般特性或特性的汇总。

例如，学⽣的特征可被提出，形成所有⼤学的计算机科学专业⼀年级学⽣的轮廓，这些特征包括作为⼀种⾼的年级平均成绩(GPA：Grade point a ve r s ge) 的信息，还有所修的课程的最⼤数量。

区分是将⽬标类数据对象的⼀般特性与⼀个或多个对⽐类对象的⼀般特性进⾏⽐较。

例如，具有⾼GPA 的学⽣的⼀般特性可被⽤来与具有低GPA 的⼀般特性⽐较。

最终的描述可能是学⽣的⼀个⼀般可⽐较的轮廓，就像具有⾼GPA 的学⽣的75%是四年级计算机科学专业的学⽣，⽽具有低GPA 的学⽣的65%不是。

关联是指发现关联规则，这些规则表⽰⼀起频繁发⽣在给定数据集的特征值的条件。

例如，⼀个数据挖掘系统可能发现的关联规则为：m a j or(X,“c omput i ng s c i e nc e”) ?owns(X, “pe r s ona l c omput e r”)[s uppor t=12%,c on f i d e nc e=98%]其中，X 是⼀个表⽰学⽣的变量。

这个规则指出正在学习的学⽣，12%（⽀持度）主修计算机科学并且拥有⼀台。

个⼈计算机。

这个组⼀个学⽣拥有⼀台个⼈电脑的概率是98%（置信度，或确定度）分类与预测不同，因为前者的作⽤是构造⼀系列能描述和区分数据类型或概念的模型（或，⽽后者是建⽴⼀个模型去预测缺失的或⽆效的、并且通常是数字的数据值。

它们的功能）相似性是他们都是预测的⼯具：分类被⽤作预测⽬标数据的类的标签，⽽预测典型的应⽤是预测缺失的数字型数据的值。

聚类分析的数据对象不考虑已知的类标号。

对象根据最⼤花蕾内部的相似性、最⼩化类之间的相似性的原则进⾏聚类或分组。

形成的每⼀簇可以被看作⼀个对象类。

数据挖掘概念与技术（原书第3版）第一章课后习题及解答1.9习题1.1什么是数据挖掘？在你的回答中，强调以下问题：(a）它是又一种广告宣传吗？（b)它是一种从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用吗?(c)我们提出了一种观点，说数据挖掘是数据库技术进化的结果。

你认为数据挖掘也是机器学习研究进化的结果吗？你能基于该学科的发展历史提出这一观点吗？针对统计学和模式识别领域，做相同的事。

(d)当把数据挖掘看做知识发现过程时，描述数据挖掘所涉及的步骤。

答：狭义的数据挖掘是知识发现过程中的一个步骤,广义的数据挖掘通常用来表示整个知识发现过程,我们一般采用广义的观点:数据挖掘是从大量数据中挖掘有趣模式和知识的过程。

数据源包括数据库、数据仓库、WEB、其他信息存储库或动态地流入系统的数据。

a.它不是一种广告宣传，它基于实际的需求，提供从数据中发现知识的工具。

b。

数据挖掘不是从数据库、统计学、机器学习和模式识别发展而来的技术的简单转换或应用，它可以看做是信息技术的自然进化，是一些相关学科和应用领域的交汇点.c。

数据挖掘是数据库技术进化的结果，也是机器学习、统计学和模式识别领域技术进化的结果。

机器学习是一个快速成长的学科,这一领域中的监督学习、无监督学习、半监督学习和主动学习问题，与数据挖掘高度相关，数据挖掘和机器学习有许多相似之处,对于分类和聚类任务，机器学习研究通常关注模型的准确率。

除准确率之外，数据挖掘研究非常强调挖掘方法在大型数据集上的有效性和可伸缩性，以及处理复杂数据类型的方法，开发新的非传统的方法.统计学研究数据的收集、分析、解释和表示。

数据挖掘和统计学具有天然联系。

（1）统计模型是一组数学函数，它们利用随机变量及其概率分布刻画目标类对象的行为，可以是数据挖掘的结果，也可以是数据挖掘任务的基础。

（2)统计学研究开发一些使用数据和统计模型进行预测和预报的工具，描述统计可以帮助理解数据；推理统计学用某种方式对数据建模，可以解释观测中的随机性和确定性，并用来提取关于所考察的过程中或总体的结论.（3）统计假设检验使用实验数据进行统计判决,可以用来验证数据挖掘结果。

第一章1．6(1)数据特征化是目标类数据的一般特性或特征的汇总。

例如，在某商店花费1000元以上的顾客特征的汇总描述是：年龄在40—50岁、有工作和很好的信誉等级。

（2）数据区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。

例如,高平均分数的学生的一般特点,可与低平均分数的学生的一般特点进行比较.由此产生的可能是一个相当普遍的描述，如平均分高达75％的学生是大四的计算机科学专业的学生，而平均分低于65%的学生则不是.（3)关联和相关分析是指在给定的频繁项集中寻找相关联的规则.例如，一个数据挖掘系统可能会发现这样的规则：专业（X，“计算机科学”)=〉拥有(X，”个人电脑“）[support= 12％，confidence = 98%]，其中X是一个变量，代表一个学生，该规则表明，98％的置信度或可信性表示,如果一个学生是属于计算机科学专业的，则拥有个人电脑的可能性是98%。

12％的支持度意味着所研究的所有事务的12％显示属于计算机科学专业的学生都会拥有个人电脑。

（4)分类和预测的不同之处在于前者是构建了一个模型(或函数），描述和区分数据类或概念，而后者则建立了一个模型来预测一些丢失或不可用的数据，而且往往是数值，数据集的预测。

它们的相似之处是它们都是为预测工具：分类是用于预测的数据和预测对象的类标签，预测通常用于预测缺失值的数值数据。

例如：某银行需要根据顾客的基本特征将顾客的信誉度区分为优良中差几个类别，此时用到的则是分类;当研究某只股票的价格走势时，会根据股票的历史价格来预测股票的未来价格，此时用到的则是预测。

（5）聚类分析数据对象是根据最大化类内部的相似性、最小化类之间的相似性的原则进行聚类和分组。

聚类还便于分类法组织形式,将观测组织成类分层结构，把类似的事件组织在一起。

例如：世界上有很多种鸟，我们可以根据鸟之间的相似性，聚集成n类，其中n可以认为规定. (6）数据演变分析描述行为随时间变化的对象的规律或趋势，并对其建模。

1.4 数据仓库和数据库有何不同？有哪些相似之处？答：区别：数据仓库是面向主题的，集成的，不易更改且随时间变化的数据集合，用来支持管理人员的决策，数据库由一组内部相关的数据和一组管理和存取数据的软件程序组成，是面向操作型的数据库，是组成数据仓库的源数据。

它用表组织数据，采用ER数据模型。

相似：它们都为数据挖掘提供了源数据，都是数据的组合。

1.3 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。

使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。

答：特征化是一个目标类数据的一般特性或特性的汇总。

例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩(GPA：Grade point aversge)的信息，还有所修的课程的最大数量。

区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。

例如，具有高GPA 的学生的一般特性可被用来与具有低GPA 的一般特性比较。

最终的描述可能是学生的一个一般可比较的轮廓，就像具有高GPA 的学生的75%是四年级计算机科学专业的学生，而具有低GPA 的学生的65%不是。

关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。

例如，一个数据挖掘系统可能发现的关联规则为：major(X, “computing science”) ⇒ owns(X, “personal computer”)[support=12%, confidence=98%] 其中，X 是一个表示学生的变量。

这个规则指出正在学习的学生，12%（支持度）主修计算机科学并且拥有一台个人计算机。

这个组一个学生拥有一台个人电脑的概率是98%（置信度，或确定度）。

分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或功能），而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。

数据挖掘——概念概念与技术Data MiningConcepts and T echniques习题答案第1章引言1.1 什么是数据挖掘？在你的回答中，针对以下问题：1.2 1.6 定义下列数据挖掘功能：特征化、区分、关联和相关分析、预测聚类和演变分析。

使用你熟悉的现实生活的数据库，给出每种数据挖掘功能的例子。

解答：�特征化是一个目标类数据的一般特性或特性的汇总。

例如，学生的特征可被提出，形成所有大学的计算机科学专业一年级学生的轮廓，这些特征包括作为一种高的年级平均成绩(GPA：Grade pointaversge)的信息，还有所修的课程的最大数量。

�区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。

例如，具有高 GPA 的学生的一般特性可被用来与具有低 GPA 的一般特性比较。

最终的描述可能是学生的一个一般可比较的轮廓，就像具有高 GPA 的学生的75%是四年级计算机科学专业的学生，而具有低GPA 的学生的65%不是。

�关联是指发现关联规则，这些规则表示一起频繁发生在给定数据集的特征值的条件。

例如，一个数据挖掘系统可能发现的关联规则为：major(X, “computing s cience”) ⇒ owns(X, “personalcomputer”) [support=12%, confid ence=98%]其中，X 是一个表示学生的变量。

这个规则指出正在学习的学生，12%（支持度）主修计算机科学并且拥有一台个人计算机。

这个组一个学生拥有一台个人电脑的概率是98%（置信度，或确定度）。

�分类与预测不同，因为前者的作用是构造一系列能描述和区分数据类型或概念的模型（或功能），而后者是建立一个模型去预测缺失的或无效的、并且通常是数字的数据值。

它们的相似性是他们都是预测的工具：分类被用作预测目标数据的类的标签，而预测典型的应用是预测缺失的数字型数据的值。

�聚类分析的数据对象不考虑已知的类标号。

10.1 简略介绍如下聚类方法：划分方法、层次方法。

每种给出两个例子。

(1)划分方法：给定一个有N个对象的集合，划分方法构造数据的K个分区，每一个分区表示一个簇，且K≤N。

而且这K个分组满足下列条件：第一，每一个分组至少包含一条记录；第二，每一条记录属于且仅属于一个分组(注意：这个要求在某些模糊聚类算法中可以放宽)；对于给定的K，算法首先给出一个初始的分组方法，以后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次好，而所谓好的标准就是：同一分组中的记录越近越好，而不同分组中的记录越远越好。

使用这个基本思想的算法有：K-MEANS 算法、K-MEDOIDS 算法、CLARANS 算法。

(2)层次方法：这种方法对给定的数据集进行层次似的分解，直到某种条件满足为止。

具体又可分为“自底向上”和“自顶向下”两种方案。

例如在“自底向上”方案中，初始时每一个数据记录都组成一个单独的组，在接下来的迭代中，它把那些相互邻近的组合并成一个组，直到所有的记录组成一个分组或者某个条件满足为止。

代表算法有：BIRCH 算法、CURE 算法、CHAMELEON 算法等。

10.2 假设数据挖掘的任务是将如下的8个点（用(x, y)代表位置）聚类为3个簇。

A1(2,10), A2(2,5), A3(8,4), B1(5,8), B2(7,5), B3(6,4), C1(1,2), C2(4,9)距离函数是欧氏距离。

假设初始我们选择A1、B1和C1分别为每个簇的中心，用k-均值算法给出：（a）在第一轮执行后的3个簇中心。

（b）最后的3个簇。

(a)第一轮后, 三个新的簇为(1){A1}(2){B1,A3,B2,B3,C2}(3){C1,A2}簇中心分别为(1) (2, 10), (2) (6, 6), (3) (1.5, 3.5).(b)最后3个簇为(1) {A1,C2,B1}, (2) {A3,B2,B3}, (3) {C1,A2}.10.6 k-均值和k-中心点算法都可以进行有效的聚类。