汕头大学2019数据挖掘期末复习资料（浩军老师班）
考试范围：数据预处理、数据关联分析、分类与预测、SVM、K-MEANS、聚类
考试题型：简答题，复习请以实验相关内容为主
数据挖掘课程的主要内容：
1.数据挖掘概述
2.数据预处理
3.数据挖掘算法－关联分析
4.数据挖掘算法－分类与预测
5.数据挖掘算法－聚类分析
一、数据挖掘概述
什么是数据挖掘？
数据挖掘概念：从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术（机器学习）的综合。
数据挖掘定义：数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据的特征：大容量、含噪音（不完全、不正确）、异质数据（多种数据类型混合的数据源，来自互联网的数据是典型的例子）
数据挖掘有哪些步骤？
1.确定预测目标
2.统计数据特征
3.根据数据特征进行数据预处理
4.应用数据挖掘模型（分类、聚类、关联分析、离群点挖掘、标记等）
5.分析模型的准确率
6.找出影响模型准确率的因素，回到第3步迭代直到模型足够完美。
二、数据预处理
数据预处理有哪些步骤？
1.数据清理
2.数据集成
3.数据归约
4.数据变换与数据离散化
为什么要进行数据预处理？
现实世界的数据是不完整的、含有噪声的、不一致的、冗余的。低质量的数据将导致低质量的挖掘结果。
1)现实世界的数据一般是脏的、不完整的和不一致的。
2)数据预处理技术可以改进数据的质量，从而有助于提高其后的挖掘过程的精度和性能。
3) 高质量的决策必然依赖于高质量的数据，因此数据预处理是知识发现过程的重要步骤。
数据的质量涉及的三个要素是？
准确性，完整性和一致性。现实世界的数据一般是脏的不完整的不一致的。数据预处理技术可以改善数据的质量。
如何填充数据中存在的缺失值？
1.忽略元组（删除）
2.使用一个全局常量填充空缺值（例如NULL）
3.使用属性的平均值、众数、中位数来填充空缺值
4.人工填充空缺值
数据清理
补充缺失的属性值：使用属性的中心度量（如均值或者中位数或者众数（频率度量出现单峰）填充缺失值。使用最可能的值填充缺失值（可以用回归，使用贝叶斯形式化方法）
光滑数据，去掉噪声：噪声是被测量的变量的随机误差或者方差。
数据光滑的技术：分箱法，把有序的数据数量等频地分到箱子中，可以用箱的均值光滑，用箱的边界值光滑，用箱的中位数光滑。
数据集成将数据由多个数据源合并成一个一致的数据存储，如数据仓库（集成多个数据库）。
数据归约可以通过如聚集、删除冗余特征或者聚类来降低数据的规模。（得到数据的简化表示）
简化数据、但产生相同或者相似的结果
通过选择替代的、“较小的”数据表示形式来减少数据量。
数据变换（例如，规范化,离散化）可以把数据压缩到较小的区间，如0.0到1.0。这可以提高涉及距离度量的挖掘算法的准确率和效率。
规范化和聚集
数据最小-最大规范化
最小-最大规范化：将原始数据v经线性变换，映射到区间[new_minA, new_maxA] 选择区间，找到数据最大值和最小值，进行区间规范化
离群点可能影响规范化
零族规范化z-score规范化（零均值规范化）：属性A的值基于A的平均值和标准差规范化。对离群点不敏感
A A
v v
σμ
-
='
离散化：通俗的说，离散化是在不改变数据相对大小的条件下，对数据进行相应的缩小。概念解释
离群点：与数据的一般行为或模型不一致的数据对象
数据错误不可避免
数据输入和获取过程出现的错误
数据集成表现出来的错误
数据传输过程所引入的错误
分箱：通过考察数据的“近邻”（周围的值）来光滑有序数据的值。局部光滑。
回归：（线性回归，多元线性回归）用一个函数（回归函数）拟合数据来光滑数据。聚类：将类似的值聚集为簇。
可以识别并删除离群点、解决数据的不一致
基本描述数据汇总的图形显示（数据排序后使用）
盒图（需要先将数据进行有序排列）：
盒图可以用五数概括（上下四分位数、中位数、上下边缘）
四分位数是3个值，把排序的数据集分成4个相等的部分。盒的端点一般在四分位数上，使得盒的长度是四分位数的极差IQR（上四分位数75%，下四分位数25%）
中位数用盒内的线标记。
盒外两条虚线(称为胡须)延伸到最小和最大的观测值（上边缘、下边缘）。
超过过四分位数1.5*IQR时，单独画出离群点，否则让胡须扩展到它们。
直方图：通常让一个桶代表给定属性的一个连续值域。概括给定属性分布的图形方法，每个矩形等宽。
分位数图：是一种观察单变量数据分布的简单有效的方法。分位数-分位数图可以查看一个分布到另外一个分布是否有漂移（确定间隔）
散布图（散点图）：是一种观察双变量数据的有用的方法，用于观察点簇和离群点，或考察相关联系的可能性。确定两个数值变量之间看上去是否存在联系、模式或者趋势的有效图形之一。两个变量属性的三个关系可以从散点图上看出来：正相关、负相关、不相关。
分布式度量、代数度量、整体度量的概念
1)分布式度量：可以通过如下方法计算度量（即函数）：将数据集划分成较小的子集，计算每个子集的度量，然后合并计算结果，得到原（整个）数据集的度量值。sum()、count()、min()、max()
2）代数度量：可以通过应用一个代数函数于一个或多个分布度量计算的度量（平均数sum/count）
3）整体度量：必须对整个数据集计算的度量。例如：中位数、众数
三、数据关联分析
关联规则挖掘(Association Rule Mining)是数据挖掘中最活跃的研究内容之一。
一个典型的关联规则的例子：70%购买了牛奶的顾客将倾向于同时购买面包。
发现这样的关联规则可以为市场预测、决策和策划等方面提供依据。
技术用语解释：
频繁模式是频繁地出现在数据集中的模式（如项集、子序列、子结构）
频繁项集：例如，频繁地同时出现在交易数据集中的商品项目（如牛奶与面包）的集合是频繁项集。
序列模式：例如，先买PC，然后是数码相机，再后是内存卡，如果它频繁地出现在历史数据库中，则称它为一个频繁的序列模式。
子结构：一个子结构可能涉及不同的结构形式，如子图、子树或者子格，它可能与项集或者子序列结合在一起。如果一个子结构频繁地出现，则称它为频繁的结构模式。关联规则中的支持度和置信度？
规则的支持度和置信度是规则兴趣度的两种度量。它们分别反映所发现规则的有用性和确定性。
Computer=>antivirus_software[support = 2%;confidence =60%]
表示所分析的所有事物的2%显示计算机和杀毒软件被同时购买，置信度60%意味购买计算机的顾客60%也购买了杀毒软件。
支持度（项集X在交易集中出现的概率）
可信度（置信度）
? 关联规则的可信度(Confidence)是指包含X 和Y 的交易数与包含X 的交易数
之比：
? 关联规则的可信度反映了如果交易中包含X ，则交易中同时出现Y 的概率。 ? 例如：关联规则R 1: {bread} ? {milk}的可信度为confidence(R 1) =
support({bread,milk}) / support({bread})= 0.5/0.7 = 5/7。
项目与项集
? 设I={i 1, i 2, …, i m }是由m 个不同项目构成的集合，其中的每个i k (k=1, 2, …,
m)被称为一个项目(Item)。
? 例如：在超市的关联规则挖掘中，项目就是顾客购买的各种商品，如：
bread, milk 等。
? 项目的集合I 被称为项目集合(Itemset)，简称项集。
? I 中元素个数称为项集的长度；
? 例如：超市出售6种商品，即：项集I 中包含6个项目，则I
的
support(X)
Y)
support(X Y)(X confidence ?=
?
长度为6。
?长度为k的项集称为k-项集(k-Itemset)。
?例如：对于项集{cake, milk}，可称为2-项集。
项集的最小支持度与频繁集
?用于发现关联规则的项集必须满足的最小支持度的阈值，称为项集的最小支持
度(Minimum Support)，记为sup min。
?从统计意义上讲，它表示用户关心的关联规则必须满足的最低重要性。
?只有满足最小支持度的项集才能产生关联规则。
?支持度大于或等于sup min的项集称为频繁项集，简称频繁集，反之则称为非频
繁集。
?通常，k-项集如果满足sup min，可称为k-频繁集，记作L k。
强关联规则
?关联规则的最小支持度(Minimum Support)表示关联规则需要满足的最低支持
度，记为sup min。
?关联规则的最小可信度(Minimum Confidence)表示关联规则需要满足的最低
可信度，记为conf min。
?如果关联规则同时满足如下两个条件：
support(X?Y) ≥ sup min
confidence(X?Y) ≥ conf min
?称关联规则为强关联规则，否则称为弱关联规则。
?在挖掘关联规则时，产生的关联规则要经过sup min和conf min的衡量，筛选出
来的强关联规则才能用于指导决策。
关联规则的挖掘：
经典算法：Apriori算法
关联规则挖掘包含以下两个步骤：
?首先，找出所有频繁集；
?其次，由频繁集产生强关联规则。
Apriori算法通过多次扫描数据集，找出所有频繁集，然后用这些频繁集产生强关联规则
Apriori算法通过迭代来穷举出数据集中的所有频繁集。
?算法过程：
?输入数据集D，最小支持度阈值SUPmin
?首先，产生1-频繁集L1；
?其次，在L1上通过连接和修剪产生2-频繁集L2；
?依次类推，可在L k上通过连接和修剪产生(k+1)-频繁集L k+1；
?最后，直到无法产生新的频繁集为止。
?连接：只相差一个项目的两个项集才能进行连接（集合“并”操作）。
例如：由L2生成C3的过程中，L2中的{A,C}和{B,C}只相差一个项目，因此它们可以连接生成{A,B,C}。
但是，L2中的{A,C}和{B,E}无法进行连接。
?修剪：去除子集不是频繁集的项集。
Apriori算法的性质：频繁集的所有非空子集也一定是频繁的。
例如：虽然L2中的{A,C}和{B,C}可以连接生成{A,B,C}，但是由于{A,B,C}的子集{A,B}不是频繁集(不在L2中)，因此，需要从C3中删除{A,B,C} 。
描述算法过程：
1.输入：数据集D，最小支持度阈值sup min。
2.K=1
3.产生CK:K-候选频繁集
4.根据最小支持度筛选K-候选频繁集生成LK:K-频繁集
5.循环2~3步骤，直到无法生成新的频繁集为止
6.输出可以产生关联规则的所有频繁集L。
Apriori的挑战与改进思路
?挑战
?多遍事务数据库扫描
?候选频繁项集的数目巨大
?候选项集的计数工作量较大
?改进Apriori：思路
?减少事务数据库扫描次数
?减少候选项集数目
?有效支持候选项集的计数
提高Apriori的有效性
1.基于散列的技术
2.事务压缩
3.划分
4.抽样
5.动态项集技术
四、数据分类与预测
分类有那些方法，优缺点？
判定树归纳分类（缺失数据敏感）
-优点：
1．决策树易于理解和解释
2.能够同时处理数据型和常规型属性
3．在相对短的时间内能够对大型数据源做出可行且效果良好的结果。
4.如果给定一个观察的模型，那么根据所产生的决策树很容易推出相应的逻辑表达式。-缺点：
一、对于那些各类别样本数量不一致的数据，在决策树当中,信息增益的结果偏向于那些具有更多数值的特征。
二、决策树处理缺失数据时的困难。
三、过度拟合问题的出现。
四、忽略数据集中属性之间的相关性。
朴素贝叶斯分类：（缺失数据不敏感）
-优点：易于实现,对缺失数据不太敏感，算法也比较简单，常用于文本分类。小规模数据表现好.
-缺点：需要知道先验概率，很多时候先验概率基于假设，假设类条件独立假设不一定总是成立。朴素贝叶斯分类无法对属性之间的依赖关系建模。
人工神经网络分类（缺失数据不敏感）
-优点：分类的准确度高,并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系，具备联想记忆的功能等。
缺点：神经网络需要大量的参数。不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。
SVM支持向量机（缺失数据敏感）
SVM的优点：
一、可以解决小样本情况下的机器学习问题。
二、可以提高泛化性能。
三、可以解决高维问题。
四、可以解决非线性问题。
五、可以避免神经网络结构选择和局部极小点问题。
SVM的缺点：
一、对缺失数据敏感。
二、对非线性问题没有通用解决方案，必须谨慎选择Kernelfunction来处理。
遗传算法的优点：
一、与问题领域无关切快速随机的搜索能力。
二、搜索从群体出发，具有潜在的并行性，可以进行多个个体的同时比较，鲁棒性好
三、搜索使用评价函数启发，过程简单。
四、使用概率机制进行迭代，具有随机性。
五、具有可扩展性，容易与其他算法结合。
遗传算法的缺点：
一、遗传算法的编程实现比较复杂,首先需要对问题进行编码,找到最优解之后还需要对问题进行解码,
二、另外三个算子的实现也有许多参数,如交叉率和变异率,并且这些参数的选择严重影响解的品质,而目前这些参数的选择大部分是依靠经验.没有能够及时利用网络的反馈信息,故算法的搜索速度比较慢，要得要较精确的解需要较多的训练时间。
三、算法对初始种群的选择有一定的依赖性，能够结合一些启发算法进行改进。
K-最临近分类KNN
优点
简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；
可用于数值型数据和离散型数据；
训练时间复杂度为O(n)；无数据输入假定；
对异常值不敏感。
缺点：
计算复杂性高；空间复杂性高；
样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；
一般数值很大的时候不用这个，计算量太大。但是单个样本又不能太少，否则容易发
生误分。
最大的缺点是无法给出数据的内在含义。
聚类分析有哪些方法？它们的优缺点是什么？
k-means：是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚点不一定是聚类中的一个点，该算法只能处理数值型数据。
优点：k 均值聚类法快速高效,特别是大量数据时,准确性高一些,但是需要你自己指定聚类的类别数量
均值漂移聚类
高斯混合模型最大期望聚类
什么是分类、什么是预测？
?分类
?预测类标识（离散的）
?基于带类标识的数据构建分类模型，然后使用分类模型对未知类标识的
数据分类
?预测
?对连续值函数建模，即预测未知或丢失的值
分类——一个两步的过程
?建立模型：描述数据中的类
?每个元组/样本都属于由其类标识所确定的类
?用于构建模型的数据集被称为训练数据集
?模型的表现形式有分类规则，判定树，和数学公式
?使用模型进行分类：将未知类标识的数据分类
?评估模型的预测准确率
?将模型预测的测试样本的类与测试样本的类标识进行比较
?模型的预测准确率等于被模型正确分类的测试样本在测试数据
集中所占的比例
?测试数据集应该与训练数据集相互独立，否则将会产生过拟合
问题
?如果模型的预测准确率可以接受，就可用模型对未知类标识的数据对象
进行分类
有指导的学习（分类）
?指导：训练数据（度量，观察）带有类标识，即训练数据集中的每个数
据对象所属的类已知
无指导的学习（聚类）
?训练数据的类标识未知
?对给定的一组观察数据或度量数据，识别数据中存在的类（簇）
-信息熵指的是系统的混乱程度
小结
?分类是一个被广泛研究的问题（主要在统计学，机器学习和神经网络）
?分类是数据挖掘中用得最多的技术之一
?判定树归纳、朴素贝叶斯分类、贝叶斯信念网络、后向传播、关联挖掘等算法
?评估模型的准确率；提高模型的准确率；其他度量模型准确性的量
支持向量机SVM(一种对线性和非线性数据进行分类的方法)
1.SVM从线性可分情况下的最优分类面发展而来。
2.最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。
3.SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。
4.过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。
特点：
尽管SVM的训练也非常慢，但是其对复杂的非线性边界的建模能力，它们是非常准确的。可以用于数值预测和分类。（手写数字识别，语音识别，人脸识别，文本分类）SVM通过搜索最大边缘超平面来寻找决策边界
题目：使用不同的核函数来优化非线性SVM，SVM核函数的作用？不同核函数的效果如何？（重点）
题目：聚类分析占考试比重很大，聚类分析的5种策略？什么是聚类分析？聚类分析有哪些方法？优缺点？自行补充（重点）
考试概念居多，基本没有计算，但考题年年会微调，范围以考试大纲为准。
《数据挖掘》Weka实验报告 姓名＿学号＿ 指导教师 开课学期2015 至2016 学年 2 学期完成日期2015年6月12日
1.实验目的 基于https://www.doczj.com/doc/bd15520643.html,/ml/datasets/Breast+Cancer+WiscOnsin+%28Ori- ginal%29的数据，使用数据挖掘中的分类算法，运用Weka平台的基本功能对数据集进行分类，对算法结果进行性能比较，画出性能比较图，另外针对不同数量的训练集进行对比实验，并画出性能比较图训练并测试。 2.实验环境 实验采用Weka平台，数据使用来自https://www.doczj.com/doc/bd15520643.html,/ml/Datasets/Br- east+Cancer+WiscOnsin+%28Original%29，主要使用其中的Breast Cancer Wisc- onsin (Original) Data Set数据。Weka是怀卡托智能分析系统的缩写，该系统由新西兰怀卡托大学开发。Weka使用Java写成的，并且限制在GNU通用公共证书的条件下发布。它可以运行于几乎所有操作平台，是一款免费的，非商业化的机器学习以及数据挖掘软件。Weka提供了一个统一界面，可结合预处理以及后处理方法，将许多不同的学习算法应用于任何所给的数据集，并评估由不同的学习方案所得出的结果。 3.实验步骤 3.1数据预处理 本实验是针对威斯康辛州(原始)的乳腺癌数据集进行分类，该表含有Sample code number（样本代码)，Clump Thickness（丛厚度），Uniformity of Cell Size （均匀的细胞大小），Uniformity of Cell Shape （均匀的细胞形状），Marginal Adhesion（边际粘连），Single Epithelial Cell Size（单一的上皮细胞大小），Bare Nuclei（裸核），Bland Chromatin（平淡的染色质），Normal Nucleoli（正常的核仁），Mitoses（有丝分裂），Class（分类），其中第二项到第十项取值均为1-10，分类中2代表良性，4代表恶性。通过实验，希望能找出患乳腺癌客户各指标的分布情况。 该数据的数据属性如下： 1. Sample code number（numeric），样本代码； 2. Clump Thickness（numeric），丛厚度；
数据挖掘期末大作业 1.数据挖掘的发展趋势是什么？大数据环境下如何进行数据挖掘。 对于数据挖掘的发展趋势，可以从以下几个方面进行阐述： (1)数据挖掘语言的标准化描述:标准的数据 挖掘语言将有助于数据挖掘的系统化开发。改进多个数据挖掘系统和功能间的互操作,促进其在企业和社会中的使用。 (2)寻求数据挖掘过程中的可视化方法:可视 化要求已经成为数据挖掘系统中必不可少的技术。可以在发现知识的过程中进行很好的人机交互。数据的可视化起到了推动人们主动进行知识发现的作用。 (3)与特定数据存储类型的适应问题:根据不 同的数据存储类型的特点,进行针对性的研究是目前流行以及将来一段时间必须面对的问题。 (4)网络与分布式环境下的KDD问题:随着 Internet的不断发展,网络资源日渐丰富,这就需要分散的技术人员各自独立地处理分离数据库的工作方式应是可协作的。因此,考虑适应分布式与网络环境的工具、技术及系统将是数据挖掘中一个最为重要和繁荣的子领域。 (5)应用的探索:随着数据挖掘的日益普遍,其应用范围也日益扩大,如生物医学、电信业、零售业等 领域。由于数据挖掘在处理特定应用问题时存在局限性,因此,目前的研究趋势是开发针对于特定应用的数据挖掘系统。 (6)数据挖掘与数据库系统和Web数据库系统的集成:数据库系统和Web数据库已经成为信息处 理系统的主流。 2. 从一个3输入、2输出的系统中获取了10条历史数据，另外，最后条数据是系统的输 入，不知道其对应的输出。请使用SQL SERVER 2005的神经网络功能预测最后两条数据的输出。 首先，打开SQL SERVER 2005数据库软件，然后在界面上右键单击树形图中的“数据库”标签，在弹出的快捷菜单中选择“新建数据库”命令，并命名数据库的名称为YxqDatabase，单击确定，如下图所示。 然后，在新建的数据库YxqDatabas中，根据题目要求新建表，相应的表属性见下图所示。
网络教育学院 《数据挖掘》课程大作业 题目： 姓名： 学习中心： 第一大题：讲述自己在完成大作业过程中遇到的困难，解决问题的思路，以及相关感想，或者对这个项目的认识，或者对Python与数据挖掘的认识等等，300-500字。 《数据挖掘》这门课程是一门实用性非常强的课程，数据挖掘是大数据这门前沿技术的基础，拥有广阔的前景，在信息化时代具有非常重要的意义。数据挖掘的研究领域非常广泛，主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。学习过程中，我也遇到了不少困难，例如基础差，对于Python基础不牢，尤其是在进行这次课程作业时，显得力不从心；个别算法也学习的不够透彻。在接下来的学习中，我仍然要加强理论知识的学习，并且在学习的同时联系实际，在日常工作中注意运用《数据挖掘》所学到的知识，不断加深巩固，不断发现问题，解决问题。另外，对于自己掌握不牢的知识要勤复习，多练习，使自己早日成为一名合格的计算机毕业生。 第二大题：完成下面一项大作业题目。
2020春《数据挖掘》课程大作业 注意：从以下5个题目中任选其一作答。 题目一：Knn算法原理以及python实现 要求：文档用使用word撰写即可。 主要内容必须包括： （1）算法介绍。 （2）算法流程。 （3）python实现算法以及预测。 （4）整个word文件名为 [姓名奥鹏卡号学习中心]（如 戴卫东101410013979浙江台州奥鹏学习中心[1]VIP ）作业提交： 大作业上交时文件名写法为：[姓名奥鹏卡号学习中心]（如：戴卫东101410013979浙江台州奥鹏学习中心[1]VIP） 以附件形式上交离线作业（附件的大小限制在10M以内），选择已完成的作业（注意命名），点提交即可。如下图所示。 。 注意事项： 独立完成作业，不准抄袭其他人或者请人代做，如有雷同作业，成绩以零分计！
1、给出K D D的定义和处理过程。 KDD的定义是：从大量数据中提取出可信的、新颖的、有用的且可以被人理解的模式的高级处理过程。因此，KDD是一个高级的处理过程，它从数据集中识别出以模式形式表示的知识。这里的“模式”可以看成知识的雏形，经过验证、完善后形成知识：“高级的处理过程”是指一个多步骤的处理过程，多步骤之间相互影响反复调整，形成一种螺旋式上升的过程。 KDD的全过程有五个步骤：1、数据选择：确定发现任务的操作对象，即目标数据，它是根据用户的需要从原始数据库中抽取的一组数据；2、数据预处理：一般可能包括消除噪声、推到技术却只数据、消除重复记录、完成数据类型转换等；3、数据转换：其主要目的是消减数据维数或降维，即从初始特征中找出真正有用的特征以减少数据开采时要考虑的特征或变量个数；4、数据挖掘：这一阶段包括确定挖掘任务/目的、选择挖掘方法、实施数据挖掘；5、模式解释/评价：数据挖掘阶段发现出来的模式，经过用户或机器的评价，可能存在冗余或无关的模式，需要剔除；也有可能模式不满足用户的要求，需要退回到整个发现阶段之前，重新进行KDD过程。 2、阐述数据挖掘产生的背景和意义。 ?数据挖掘产生的背景：随着信息科技的进步以及电子化时代的到来，人们以更快捷、更容易、更廉价的方式获取和存储数据，使得数据及信息量以指数方式增长。据粗略估计，一个中等规模企业每天要产生100MB以上的商业数据。而电信、银行、大型零售业每天产生的数据量以TB来计算。人们搜集的数据越来越多，剧增的数据背后隐藏着许多重要的信息，人们希望对其进行更高层次的分析，以便更好的利用这些数据。先前的数据库系统可以高效的实现数据的录入、查询、统计等功能，但无法发现数据中存在的关系与规则，无法根据现有的数据来预测未来的发展趋势。缺乏挖掘数据背后隐藏的知识的手段。导致了“数据爆炸但知识贫乏”的现象。于是人们开始提出“要学会选择、提取、抛弃信息”，并且开始考虑：如何才能不被信息淹没？如何从中及时发现有用的知识、提高信息利用率？如何从浩瀚如烟海的资料中选择性的搜集他们认为有用的信息？这给我们带来了另一些头头疼的问题：第一是信息过量，难以消化；第二是信息真假难以辨别；第三是信息安全难以保证；第四是信息形式不一致，难以统一处理?
第 - 1 - 页 共 4 页 数据挖掘试卷 课程代码： C0204413 课程： 数据挖掘A 卷 一、判断题（每题1分，10分） 1. 从点作为个体簇开始，每一步合并两个最接近的簇，这是一种分裂的层次聚类方法。（ ） 2. 数据挖掘的目标不在于数据采集策略，而在于对已经存在的数据进行模式的发掘。（ ） 3. 在聚类分析当中，簇内的相似性越大，簇间的差别越大，聚类的效果就越差。（ ） 4. 当两个点之间的邻近度取它们之间距离的平方时，Ward 方法与组平均非常相似。（ ） 5. DBSCAN 是相对抗噪声的，并且能够处理任意形状和大小的簇。（ ） 6. 属性的性质不必与用来度量他的值的性质相同。（ ） 7. 全链对噪声点和离群点很敏感。（ ） 8. 对于非对称的属性，只有非零值才是重要的。（ ） 9. K 均值可以很好的处理不同密度的数据。（ ） 10. 单链技术擅长处理椭圆形状的簇。（ ） 二、选择题（每题2分，30分） 1. 当不知道数据所带标签时，可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？( ) A.分类 B.聚类 C.关联分析 D.主成分分析 2. ( )将两个簇的邻近度定义为不同簇的所有点对邻近度的平均值，它是一种凝聚层次聚类技术。 A.MIN(单链) B.MAX(全链) C.组平均 D.Ward 方法 3.数据挖掘的经典案例“啤酒与尿布试验”最主要是应用了( )数据挖掘方法。 A 分类 B 预测 C 关联规则分析 D 聚类 4.关于K 均值和DBSCAN 的比较，以下说法不正确的是( ) A.K 均值丢弃被它识别为噪声的对象，而DBSCAN 一般聚类所有对象。 B.K 均值使用簇的基于原型的概念，DBSCAN 使用基于密度的概念。 C.K 均值很难处理非球形的簇和不同大小的簇，DBSCAN 可以处理不同大小和不同形状的簇 D.K 均值可以发现不是明显分离的簇，即便簇有重叠也可以发现，但是DBSCAN 会合并有重叠的簇 5.下列关于Ward ’s Method 说法错误的是：( )
一:用R语言编程实现P56页19题 以19(2)为例编写R语言程序，其他小题程序类似1.余弦相似度 > x=c(0,1,0,1) > y=c(1,0,1,0) > xy=sum(x*y) > x1=sqrt(sum(x^2)) > y1=sqrt(sum(y^2)) > c=xy/(x1*y1) > c [1] 0 2.相关性 > x=c(0,1,0,1) > y=c(1,0,1,0) > xbar=mean(x) > ybar=mean(y) > len=length(x) > sx=sqrt((1/(len-1))*sum((x-xbar)^2)) > sy=sqrt((1/(len-1))*sum((y-ybar)^2)) > sxy=(1/(len-1))*sum((x-xbar)*(y-ybar)) > corrxy=sxy/(sx*sy) > corrxy
3.欧几里得距离 > x=c(0,1,0,1) > y=c(1,0,1,0) > dxy=sqrt(sum((x-y)^2)) > dxy [1] 2 4.Jaccard系数 > x=c(0,1,0,1) > y=c(1,0,1,0) > f00=f01=f10=f11=0 > len=length(x) > j=1 > while(j 1.音乐分类的数据集 在这个题目中，使用了SVM分类器和贝叶斯分类器，并通过sklearn库中的GridSearchCV方法对SVM分类模型的参数进行调优，使最终的正确率提高了5个百分点左右。但仍没有文档中的论文达到的分类正确率高，因为论文中的分类器的设计使专一对音乐音调分类的，其中设计到神经网络和深度学习的一些方法。而我使用的分类器使对大部分分类问题都有效的方法。下面是对数据集的一个简单的介绍： 数据标签 第3-14列:YES or NO 第15列:共16个取值('D', 'G#', 'D#', 'Bb', 'Db', 'F#', 'Eb', 'F', 'C#', 'Ab', 'B', 'C', 'A#', 'A', 'G', 'E') 第16列:共5个取值(1,2,3,4,5) 第17列:共102个类别('C#M', 'F_m', 'D_m', 'D_d7', 'G#m', 'D_m6', 'C_m6', 'C_d7', 'F_M', 'D_M', 'BbM7', 'F#d', 'C#d', 'E_d', 'F_d7', 'F#d7', 'G_m', 'C#d7', 'AbM', 'EbM', 'D#d', 'Bbm6', 'G_M7', 'F#m6', 'Dbd', 'B_m6', 'G#M', 'D_m7', 'B_M', 'F#M7', 'Bbm', 'A#d', 'D#d7', 'Abd', 'G_M', 'F#M4', 'E_M', 'A_M4', 'E_m7', 'D#M', 'C_M7', 'A_m6', 'Dbm', 'A#d7', 'F#M', 'C#m7', 'F_m7', 'C_M', 'C#M4', 'F_M6', 'A_M', 'G_m6', 'D_M4', 'F_M7', 'B_M7', 'E_M4', 'E_m6', 'A_m4', 'G#d', 'C_m7', 'C_M6', 'Abm', 'F_m6', 'G_m7', 'F_d', 'Bbd', 'G_M4', 'B_d', 'A_M7', 'E_m', 'C#M7', 'DbM', 'EbM7', 'C#d6', 'F#m', 'G_M6', 'G_d', 'Dbd7', 'B_m7', 'DbM7', 'D_M6', 'D#d6', 'G#d7', 'A_m7', 'B_d7', 'B_M4', 'A_d', 'A_m', 'C_d6', 'D#m', 'C_M4', 'A_M6', 'BbM', 'C#m', 'D_M7', 'E_M7', 'F_M4', 'F#m7', 'Dbm7', 'B_m', 'C_m', 'Ebd') 这是一个多分类问题 1.1数据读取与训练集和测试集分离 期末大作业 数据挖掘和基于数据的决策是目前非常重要的研究领域，是从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的特殊过程。在商业上，数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析技术，可用于分析企业数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。 本次作业要求完成一个相亲配对程序，让相亲者更容易找到自己的意中人。查阅相关文献，以python为工具实现K-近邻算法，从而完成一个基本版的相亲配对系统，在此基础上深入研究聚类算法（K-近邻算法为其中一种），讨论各种聚类思路及算法优劣，完成相应的研究论文。 基本的设计思路提示如下：利用附件datingTestSet.txt文档中提供的三种属性（前三列，其中第1列为对方每年出差/旅行的公里数，第2列为对方玩游戏消耗时间的百分比，第3列为对方每周消费的冷饮公升数）作为测度是否和对方匹配的标准。附件文件第4列表示了你遇到此类人产生的好恶情感，其中largeDoses表示对你极有吸引力，smallDoses表示对你吸引力一般，didntLike 表示是你不喜欢的类型。利用此文件提供的数据，以K-近邻算法为工具，进行数据挖掘，发现你的喜好标准，对新的未标定的待匹配方（即只有前三行数据）给出第4行的好恶情感标签（即largeDoses、smallDoses或didntLike）。 具体要求如下： 1.查找文献，理解完整的K-近邻算法； 2.使用python语言编程实现K-近邻算法，解决相亲配对这一明确的应用问题； 3.撰写的研究论文要有关于聚类算法的详细叙述，论文中的算法应该与程序实 现的算法相印证。 大作业要求： 1.自己设计解决方案，简易的解决方案得分较低，完整的解决方案，即使部分 完成，得分也会较高； 2.作业上交形式为电子版文件。所有文件打包为一个文件，以“学号+姓名” 的方式命名； 3.算法的python源程序（py文件）； 4.对此问题进行研究得到的研究性论文，论文包括前言（简介），算法部分（算 法流程图为核心），程序设计部分（程序流程图为核心），实验结果和分析，小结等内容（doc文件）； 5.论文必须有规范的发表论文格式，包括题目、作者、单位、摘要、关键字、 正文及参考文献； 6.附有少量参考资料。 字数：论文部分字数限于2000±300，太多太少均扣分。 上交期限：19周周日，由学习委员收齐统一上交。 抄袭0分！ 北京邮电大学 2015-2016学年第1学期实验报告 课程名称：数据仓库与数据挖掘 实验名称：文本的分类 实验完成人： 姓名：学号： 日期： 2015 年 12 月 实验一：文本的分类 1.实验目的 1. 了解一些数据挖掘的常用算法，掌握部分算法； 2. 掌握数据预处理的方法，对训练集数据进行预处理； 3. 利用学习的文本分类器，对未知文本进行分类判别； 4. 掌握评价分类器性能的评估方法。 2.实验分工 数据准备、预处理、LDA主题模型特征提取实现、SVM算法都由范树全独立完成。 3.实验环境 ●操作系统：win7 64bit 、Ubuntu-14.04-trusty ●开发环境：java IDE eclipse 、Python IDLE 4.主要设计思想 4.1实验工具介绍 1.Scrapy 0.25 所谓网络爬虫，就是一个抓取特定网站网页的HTML数据的程序。不过由于一个网站的网页很多，而我们又不可能事先知道所有网页的URL地址，所以，如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。一般的方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 Scrapy是一个基于Twisted，纯Python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。 2.JGibbLDA-v.1.0 jGibbLDA是java版本的LDA实现，它使用Gibbs采样来进行快速参数估计和推断。LDA 是一种由基于概率模型的聚类算法。该算法能够对训练数据中的关键项集之于类簇的概率参数拟合模型，进而利用该参数模型实施聚类和分类等操作。 3.ICTCLAS50 中科院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层隐码模型的汉语词法分析系统ICTCLAS，该系统有中文分词，词性标注，未登录次识别等功能。 4.libSVM-3.20 libSVM是台湾大学林智仁教授等开发设计的一个简单、易用和快速有效的SVM模式识 浙江大学远程教育学院 《数据挖掘》课程作业 姓名：学号： 年级：学习中心：————————————————————————————— 第一章引言 一、填空题 （1）数据库中的知识挖掘(KDD)包括以下七个步骤：数据清理、数据集成、数据选择、数据交换、数据挖掘、模式评估和知识表示 （2）数据挖掘的性能问题主要包括：算法的效率、可扩展性和并行处理 （3）当前的数据挖掘研究中，最主要的三个研究方向是：统计学、数据库技术和机器学习 （4）孤立点是指：一些与数据的一般行为或模型不一致的孤立数据 二、简答题 （1）什么是数据挖掘？ 答：数据挖掘指的是从大量的数据中挖掘出那些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识。 （2）一个典型的数据挖掘系统应该包括哪些组成部分？ 答：一个典型的数据挖掘系统应该包括以下部分：1、数据库、数据仓库或其他信息库，2、数据库或数据仓库服务器，3、知识库，4、数据挖掘引擎，5、模式评估魔磕，6图形用户界面。 （3）Web挖掘包括哪些步骤？ 答：数据清理：（这个可能要占用过程60%的工作量）、数据集成、将数据存入数据仓库、建立数据立方体、选择用来进行数据挖掘的数据、数据挖掘（选择适当的算法来找到感兴趣的模式）、展现挖掘结果、将模式或者知识应用或者存入知识库。 （4）请列举数据挖掘应用常见的数据源。 （或者说，我们都在什么样的数据上进行数据挖掘） 答：常见的数据源包括关系数据库、数据仓库、事务数据库和高级数据库系统和信息库。其中高级数据库系统和信息库包括：空间数据库、时间数据库和时间序列数据库、流数据、多媒体数据库、面向对象数据库和对象——关系数据库、异种数据库和遗产数据库、文本数据库和万维网等。 武汉大学计算机学院 2014级研究生“数据仓库和数据挖掘”课程期末考试试题 要求：所有的题目的解答均写在答题纸上，需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题（每小题2分，共20分） 1. 下面列出的条目中，（）不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的，下面的描述不正确的是（）。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据，这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中（）是错误的。A A.数据仓库项目的需求很难把握，所以不可能从用户的需求出发来进行数据仓库的设计，只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时，应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时，需要设计实体关系图，给出数据表的划分，并给出每个属性的定义域 4. 以下关于OLAP的描述中（）是错误的。A A.一个多维数组可以表示为（维1，维2，…，维n） B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中，下列（）模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是（）。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集 第5章关联分析 5.1 列举关联规则在不同领域中应用的实例。 5.2 给出如下几种类型的关联规则的例子，并说明它们是否是有价值的。 (a)高支持度和高置信度的规则； (b)高支持度和低置信度的规则； (c)低支持度和低置信度的规则； (d)低支持度和高置信度的规则。 5.3 数据集如表5-14所示： (a) 把每一个事务作为一个购物篮，计算项集{e}, {b, d}和{b, d, e}的支持度。 (b) 利用(a)中结果计算关联规则{b, d}→{e} 和 {e}→{b, d}的置信度。置信度是一个对称的度量吗？ (c) 把每一个用户购买的所有商品作为一个购物篮，计算项集{e}, {b, d}和{b, d, e}的支持度。 (d) 利用(b)中结果计算关联规则{b, d}→{e} 和 {e}→{b, d}的置信度。置信度是一个对称的度量吗？ 5.4 关联规则是否满足传递性和对称性的性质？举例说明。 5.5 Apriori 算法使用先验性质剪枝，试讨论如下类似的性质 (a) 证明频繁项集的所有非空子集也是频繁的 (b) 证明项集s 的任何非空子集s ’的支持度不小于s 的支持度 (c) 给定频繁项集l 和它的子集s ，证明规则“s’→(l – s’)”的置信度不高于s →(l – s)的置信度，其中s’是s 的子集 (d) Apriori 算法的一个变形是采用划分方法将数据集D 中的事务分为n 个不相交的子数据集。证明D 中的任何一个频繁项集至少在D 的某一个子数据集中是频繁的。 5.6 考虑如下的频繁3-项集：{1, 2, 3}，{1, 2, 4}，{1, 2, 5}， {1, 3, 4}，{1, 3, 5}，{2, 3, 4}，{2, 3, 5}，{3, 4, 5}。 (a)根据Apriori 算法的候选项集生成方法，写出利用频繁3-项集生成的所有候选4-项集。 (b)写出经过剪枝后的所有候选4-项集 5.7 一个数据库有5个事务，如表5-15所示。设min_sup=60%，min_conf = 80%。 数据挖掘原理、算法及应用 学号： 学生所在学院：信息工程学院 学生姓名：颜伟泰 任课教师：汤亮 教师所在学院：信息工程学院 2015年12月 12年级 决策树分类算法 颜伟泰 12软件（1）班 一、摘要 （一）、决策树算法简介：决策树算法是一种归纳分类算法,它通过对训练集的学 习,挖掘出有用的规则,用于对新集进行预测。决策树算法可设计成具有良好可伸 缩性的算法,能够很好地与超大型数据库结合,处理相关的多种数据类型,并且, 其运算结果容易被人理解,其分类模式容易转化成分类规则。 （二）、算法思想：该算法的基本思想是：首先找出所有的频集，这些项集出现 的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规 则必须满足最小支持度和最小可信度。然后使用第1步找到的频集产生期望的规 则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采 用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小 可信度的规则才被留下来。为了生成所有频集，使用了递归的方法。 （三）、算法运用领域： （1）Apriori算法广泛应用于商业中，应用于消费市场价格分析中，它能够很快 的求出各种产品之间的价格关系和它们之间的影响。通过数据挖掘，市场商人可 以瞄准目标客户，采用个人股票行市、最新信息、特殊的市场推广活动或其他一 些特殊的信息手段，从而极大地减少广告预算和增加收入。百货商场、超市和一 些老字型大小的零售店也在进行数据挖掘，以便猜测这些年来顾客的消费习惯。 （2）Apriori算法应用于网络安全领域，比如时候入侵检测技术中。早期中大 型的电脑系统中都收集审计信息来建立跟踪档，这些审计跟踪的目的多是为了性 能测试或计费，因此对攻击检测提供的有用信息比较少。它通过模式的学习和训 练可以发现网络用户的异常行为模式。采用作用度的Apriori算法削弱了Apriori 算法的挖掘结果规则，是网络入侵检测系统可以快速的发现用户的行为模式，能 够快速的锁定攻击者，提高了基于关联规则的入侵检测系统的检测性。 （3）Apriori算法应用于高校管理中。随着高校贫困生人数的不断增加，学校 管理部门资助工作难度也越加增大。针对这一现象，提出一种基于数据挖掘算法 的解决方法。将关联规则的Apriori算法应用到贫困助学体系中，并且针对经典 Apriori挖掘算法存在的不足进行改进，先将事务数据库映射为一个布尔矩阵， 用一种逐层递增的思想来动态的分配内存进行存储，再利用向量求"与"运算，寻 找频繁项集。实验结果表明，改进后的Apriori算法在运行效率上有了很大的提 升，挖掘出的规则也可以有效地辅助学校管理部门有针对性的开展贫困助学工作。 （4）Apriori算法被广泛应用于移动通信领域。移动增值业务逐渐成为移动通 信市场上最有活力、最具潜力、最受瞩目的业务。随着产业的复苏，越来越多的 增值业务表现出强劲的发展势头，呈现出应用多元化、营销品牌化、管理集中化、 合作纵深化的特点。针对这种趋势，在关联规则数据挖掘中广泛应用的Apriori 算法被很多公司应用。依托某电信运营商正在建设的增值业务Web数据仓库平台， 第一章 1.3 什么是人工智能？它的研究目标是什么？ 人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 研究目标：人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 1.7 人工智能有哪几个主要学派？各自的特点是什么？ 主要学派：符号主义，联结主义和行为主义。 1.符号主义：认为人类智能的基本单元是符号，认识过程就是符号表示下的符号计算，从 而思维就是符号计算； 2.联结主义：认为人类智能的基本单元是神经元，认识过程是由神经元构成的网络的信息 传递，这种传递是并行分布进行的。 3.行为主义：认为，人工智能起源于控制论，提出智能取决于感知和行动，取决于对外界 复杂环境的适应，它不需要只是，不需要表示，不需要推理。 1.8 人工智能有哪些主要研究和应用领域？其中有哪些是新的研究热点？ 1.研究领域：问题求解，逻辑推理与定理证明，自然语言理解，自动程序设计，专家系 统，机器学习，神经网络，机器人学，数据挖掘与知识发现，人工生命，系统与语言工具。 2.研究热点：专家系统，机器学习，神经网络，分布式人工智能与Agent，数据挖掘与 知识发现。 第二章 2.8 用谓词逻辑知识表示方法表示如下知识： (1)有人喜欢梅花，有人喜欢菊花，有人既喜欢梅花又喜欢菊花。 三步走：定义谓词，定义个体域，谓词表示 定义谓词 P(x)：x是人 L(x,y)：x喜欢y y的个体域：{梅花，菊花}。 将知识用谓词表示为： (?x)(P(x)→L(x, 梅花)∨L(x, 菊花)∨L(x, 梅花)∧L(x, 菊花)) (2) 不是每个计算机系的学生都喜欢在计算机上编程序。 定义谓词 S(x)：x是计算机系学生 题一： 一阶项目集支持度 a5 b4 c2 d5 e3 f4 g6 一阶频繁集支持度 a5 b4 d5 f4 g6 二阶候选集支持度ab3 ad4 af2 ag5 bd3 bf1 bg3 df3 dg4 fg3 二阶频繁集支持度 ad4 ag5 dg4 三阶候选集支持度 adg4 三阶频繁集支持度 adg4 题二 Distance(G,A)2=0.1; Distance(G,B)2=0.03; Distance(G,C)2=0.11 Distance(G,D)2=0.12; Distance(G,E)2=0.16; Distance(G,F)2=0.05 G的三个最近的邻居为B,F,A,因此G的分类为湖泊水 Distance(H,A)2=0.03; Distance(H,B)2=0.18; Distance(H,C)2=0.22 Distance(H,D)2=0.03; Distance(H,E)2=0.21; Distance(H,F)2=0.16 H的三个最近的邻居为A,D,F,因此H的分类为冰川水 题三 首先计算各属性的信息增益 Gain(Ca+浓度)=0 Gain(Mg+浓度)=0.185 Gain(Na+浓度)=0 Gain(Cl-浓度)=0.32 选择 Cl- 计算各属性的信息增益 Gain(Ca+浓度)=0 Gain(Mg+浓度)=0.45 Gain(Na+浓度)=0.24 选择Mg+ Cl-浓度 冰川水？ 高低 Cl-浓度 冰川水Mg+浓度 高低 高低 计算各属性的信息增益 Gain(Ca+浓度)=0.24 Gain(Na+浓度)=0.91 Cl-浓度 高低 冰川水Mg+浓度 高低 Na+浓度湖泊水 高低 湖泊水冰川水 题四 P(Ca+浓度=低，Mg+浓度=高，Na+浓度=高，Cl-浓度=低| 类型=冰川水)*P(冰川水) =P(Ca+浓度=低| 类型=冰川水)* P(Mg+浓度=高| 类型=冰川水)* P(Na+浓度=高| 类型=冰川水)* P(Cl-浓度=低| 类型=冰川水) *P(冰川水) =0.5*0.75*0.5*0.5*0.5=0.0468 1?下表由雇员数据库的训练数据组成，数据已泛化。例如，年龄“ 31…3表示31到35的之 间。对于给定的行，count表示department, status, age和salary在该行上具有给定值的元组数。status是类标号属性。 1）如何修改基本决策树算法，以便考虑每个广义数据元组（即每个行）的count。 Status分为2个部分：Department分为4个部分： Senior 共计52 Sales 共计110 Junior 共计113 Systems 共计31 Marketi ng 共计14 Secretary 共计10 Age分为6个部分：Salary分为6各部分： 21-25 共计20 26K …30K 共计46 26-30 共计49 31K …35K 共计40 31-35 共计79 36K-40K 共计 4 36-40 共计10 41K-45K 共计 4 41-45 共计3 46K-50K 共计63 46-50 共计4 66K-70K 共计8 —位 位 位 位 由以上的计算知按信息增益从大到小对属性排列依次为：salary、age、department，所以定 salary作为第一层，之后剩下的数据如下： 由这个表可知department和age的信息增益将都为0。所以第二层可以为age也可以为 department。 2）构造给定数据的决策树。 由上一小问的计算所构造的决策树如下： 3)给定一个数据元组， 它在属性department, age 和salary 上的值分别为 “ systems "“ 26 (30) 和“46...50K 。"该元组status 的朴素贝叶斯分类结果是什么？ P(status=se nior)=52/165=0.3152 P(status=ju nior)=113/65=0.6848 P(departme nt=systems|status=se ni or)=8/52=0.1538 P(departme nt=systems|status=ju nior)=23/113=0.2035 P(age=26 ?-30|status=se nior)=1/52=0.0192 P(age=26…30|status=ju nior)=49/113=0.4336 P(salary=46K- 50K|status=se nior)=40/52=0.7692 P(salary=46K- 50K|status=ju nior)=23/113=0.2035 使用上面的概率，得到： P(X|status=se ni or)=P(departme nt=systems|status=se ni or)*P(age= 26 ?-30|status=se ni or)* P(salary=46K- 50K|status=se nior)=0.0023 P(X|status=j uni or)=P(departme nt=systems|status=j uni or)*P(age= 26 ?-30|status=j unior)* P(salary=46K- 50K|status= ju ni or)=0.0180 26:30 :35 Senior Salary 26K:30K Junior 41K:45K Jun ior Senior Jun ior Jun ior 66K:70K 31K:35K 46K:50K 21:25 36:40 Jun ior Sen ior 36K:40 Sen ior （一）概述 为什么要数据挖掘（Data Mining）？ 存在可以广泛使用的大量数据，并且迫切需要将数据转转换成有用的信息和知识 什么是数据挖掘？ 数据挖掘（Data Mining）是指从大量数据中提取或“挖掘”知识。 对何种数据进行数据挖掘？ 关系数据库、数据仓库、事务数据库 空间数据 超文本和多媒体数据 时间序列数据 流数据 （二）数据预处理 为什么要预处理数据？ 为数据挖掘过程提供干净、准确、简洁的数据，提高数据挖掘的效率和准确性，是数据挖掘中非常重要的环节； 数据库和数据仓库中的原始数据可能存在以下问题： 定性数据需要数字化表示 不完整 含噪声 度量单位不同 维度高 数据的描述 度量数据的中心趋势：均值、加权均值、中位数、众数 度量数据的离散程度：全距、四分位数、方差、标准差 基本描述数据汇总的图形显示：直方图、散点图 度量数据的中心趋势 集中趋势：一组数据向其中心值靠拢的倾向和程度。 集中趋势测度：寻找数据水平的代表值或中心值。 常用的集中趋势的测度指标： 均值： 缺点：易受极端值的影响 中位数：对于不对称的数据，数据中心的一个较好度量是中位数 特点：对一组数据是唯一的。不受极端值的影响。 众数：一组数据中出现次数最多的变量值。 特点：不受极端值的影响。有的数据无众数或有多个众数。 度量数据的离散程度 反映各变量值远离其中心值的程度（离散程度），从另一个侧面说明了集中趋势测度值的代表程度。 常用指标： 全距（极差）：全距也称极差，是一组数据的最大值与最小值之差。 R=最大值-最小值 组距分组数据可根据最高组上限-最低组下限计算。 受极端值的影响。 四分位距 (Inter-Quartilenge, IQR)：等于上四分位数与下四分位数之差（q3-q1） 反映了中间50%数据的离散程度，数值越小说明中间的数据越集中。 不受极端值的影响。 可以用于衡量中位数的代表性。 四分位数： 把顺序排列的一组数据分割为四（若干相等）部分的分割点的数值。 分位数可以反映数据分布的相对位置（而不单单是中心位置）。 在实际应用中四分位数的计算方法并不统一（数据量大时这些方法差别不大）。对原始数据： SPSS中四分位数的位置为(n+1)/4， 2(n+1)/4， 3 (n+1)/4。 Excel中四分位数的位置分别为(n+3)/4， 2(n+1)/4，（3 n+1)/4。 如果四分位数的位置不是整数，则四分位数等于前后两个数的加权平均。 方差和标准差：方差是一组数据中各数值与其均值离差平方的平均数，标准差是方差正的平方根。 是反映定量数据离散程度的最常用的指标。 基本描述数据汇总的图形显示 直方图(Histogram)：使人们能够看出这个数据的大体分布或“形状” 散点图 如何进行预处理 定性数据的数字化表示： 二值描述数据的数字化表示 例如：性别的取值为“男”和“女”，男→1，女→0 多值描述数据的数字化表示 例如：信誉度为“优”、“良”、“中”、“差” 第一种表示方法：优→1，良→2，中→3，差→4 第二种表示方法： 作业一： 1. 给出一个例子，其中数据挖掘对于商务的成功是至关重要的。该商务需要什么数据挖掘功能？它们能够由数据查询处理或简单的统计分析来实现吗？ 答：1)Yahoo!通过对用户使用行为的意外模式分析，发现在每次会话中，人们 阅读邮件和阅读新闻的行为之间存在很强的相关关系。Yahoo!电子邮箱产品小组验证了这种关系的影响：在一组测试用户的邮箱首页上显示一个新闻模块，其中的新闻标题被醒目显示。用户的流失率显著下降，实际上，在这次试验中，最弱的一组流失率下降了40%！于是Yahoo!立刻开发并完善了新闻模块，并嵌入Yahoo!电子邮箱的首页，到现在，上亿的消费者都可以看到并使用这种产品。可见，数据挖掘对商务的成功是至关重要的。 2)该商务应用了关联规则数据挖掘功能。 3)用于数据或信息检索的数据查询处理不具有发现关联规则能力。同样，简单的统计分析不能处理大量的数据。 2. 使用你熟悉的生活中的数据库，给出关联规则挖掘、序列模式分析、分类、聚类、孤立点分析等数据挖掘功能的例子。 答：关联规则挖掘的例子：如果顾客买了尿片与牛奶，他很可能买啤酒。把啤酒放在尿片的附近。 序列模式分析的例子：买了喷墨打印机的的顾客中，80%的人三个月后又买了墨盒。 分类数据挖掘功能的例子：信用卡发放 聚类数据挖掘功能的分析：人脸识别 孤立点分析的例子：信用卡公司需要检测大量的支付行为。可以利用支付行为中的地点、支付类型以及支付频率等信息检测出孤立点。 3. 与挖掘少量数据相比，挖掘海量数据的挑战有哪些？ 答：1)规模大 高效算法, 并行处理 2)高维特性 导致搜索空间指数级的增长，维度约减 3)过拟合 因过分强调对训练样本的效果导致过度拟合，使得对未知预测样本效果就会变差 4)动态、缺失、噪音数据 5)领域知识的运用 6)模式的可理解性 2.4 假设医院对18个随机挑选的成年人检查年龄和身体肥胖，得到如下结果： (a) 计算age 和%fat 的均值、中位数和标准差。 (b) 绘制age 和%fat 的盒图。 (c) 绘制基于这两个变量的散点图和q-q 图。 答： 22222222)4656()4654())4654()4652()4650()4649()4647(-+-+-+-+-+-+-+94.174])4661()4660()4658()4658()4657(22222=-+-+-+-+-+ 数据仓库与数据挖掘期末综合复习 第一章 1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3、数据处理通常分成两大类：联机事务处理和联机分析处理。 4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP 实现。 OLAP技术的有关概念： OLAP根据其存储数据的方式可分为三类：ROLAP、MOLAP、HOLAP 6、数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。 8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。 10、从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。 11、什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库通常是指一个数据库环境，而不是支一件产品，它是提供用户用于决策支持的当前和历史数据，这些数据在传统的数据库中通常不方便得到。数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面： （1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。 （2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。 （3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。 （4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12、数据挖掘的概念 数据挖掘，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现。数据挖掘的方法：直接数据挖掘、间接数据挖掘。 13、数据仓库与数据挖掘的关系数据挖掘大作业
期末大作业
北邮数据挖掘作业
数据挖掘离线作业
数据仓库与数据挖掘试题
数据挖掘作业(第5章)
20090307113曹晨《数据挖掘》期末大作业
人工智能大作业
数据挖掘期末考试计算题及答案
数据挖掘作业
数据挖掘期末
数据挖掘作业
数据仓库与数据挖掘期末综合复习
相关主题
文本预览