数据挖掘作业(第5章)

第5章 Clementine使用简介5.1Clementine 概述Clementine数据挖掘平台是一个可视化的、强大的数据分析平台。

用户可以通过该平台进行与商业数据操作相关的操作。

数据流区域：它是Clementine窗口中最大的区域，这个区域的作用是建立数据流，或对数据进行操作。

选项板区域：它是在Clementine的底部，每个选项卡包含一组相关的可以用来加载到数据流区域的节点组成。

它包括：数据源、记录选项、字段选项、图形、建模和输出。

管理器：它位于Clementine的右上方，包括流、输出和模型三个管理器。

项目区域：它位于Clementine的右下方，主要对数据挖掘项目进行管理。

并且，它提供CRISP-DM和类两种视图。

另外，Clementine还包括类似于其他windows软件的菜单栏、工具栏和状态栏。

Clementine非常容易操作，包含很多经典数据挖掘算法和一些较新的数据挖掘算法通常，大多数数据挖掘工程都会经历以下过程：检查数据以确定哪些属性可能与相关状态的预测或识别有关。

保留这些属性(如果已存在)，或者在必要时导出这些属性并将其添加到数据中。

使用结果数据训练规则和神经网络。

使用独立测试数据测试经过训练的系统。

Clementine的工作就是与数据打交道。

最简单的就是“三步走”的工作步骤。

首先，把数据读入Clementine中，然后通过一系列的操作来处理数据，最后把数据存入目的文件。

Clementine数据挖掘的许多特色都集成在可视化操作界面中。

可以运用这个接口来绘制与商业有关的数据操作。

每个操作都会用相应的图标或节点来显示，这些节点连接在一起，形成数据流，代表数据在操作间的流动。

Clementine用户界面包括6个区域。

数据流区域(Stream canvas)：数据流区域是Clementine窗口中最大的区域，在这个区域可以建立数据流，也可以对数据流进行操作。

每次在Clementine中可以多个数据流同时进行工作，或者是同一个数据流区域有多个数据流，或者打开一个数据流文件。

• 如：规则{尿布}—>{啤酒}表示尿布和啤酒的销售之间存在关联—— “啤酒与尿布”的故事。
• 关联分析用以发现事物间存在的关联性，除了购物篮分析外，有广泛应用， 如：辅助决策——挖掘商场销售数据、发现商品间的联系；医疗诊断—— 用于发现某些症状与某种疾病之间的关联；网页挖掘——用于发现文档集 合中某些词之间的关联，发现主题词演化模式、学科发展趋势；电子商 务——进行产品的关联推荐等。
频繁项集
支持度不小于最小支持度阈值的项集
强关联规则
根据用户预先定义的支持度和置信度阈值，支持度不小于最小支持度阈值 并且置信度不小于最小置信度阈值的规则
5.2.1 基本概念(4)
关联分析挖掘的关联规则分类 根据处理值分类
布尔关联规则 量化关联规则
根据涉及维度分类
单维关联规则 多维关联规则
支持度 (support)
事务数据库D中包含项A和B的事务占所有 事务的百分比
可表示为：support(A,B ) P(A B ) (A B )/ N
5.2.1 基本概念(3)
置信度
事务数据库D中同时包含项A和B的事务占包含项A的事务的百分比
条件概率表示为： confindence(A,B ) P(B | A) (A B )/ (A)
根据数据抽象层次分类
单层关联规则 多层关联规则
【例5-1】 设有事务集合如表5-1，计算规则{bread,milk tea} 的支持度、置信度。
交易号TID
顾客购买的商品
ห้องสมุดไป่ตู้
交易号TID
T1
bread, cream, milk, tea
T6
T2
bread, cream, milk
T7

4.
N
N
L(yi, g˜(xi)) + λJ(g˜) ≥ L(yi, g(xi)) + λJ(g)
i=1
i=1
with equality iff ρ(x) = 0.
1
Proof 1.
2.
3.
K(·, xi), f
HK
= ∞ ci i=1 γi
K(·, xi), φi(·)
=
∞ i=1
ci γi
[γi
(5)
β
i=1
N
= min
(yi
−
βT
1
VDγ2
φ(xi))2
+
λβT
β
β
i=1
N
= min
(yi
−
cT
φ(xi))2
+
λ(VD−γ
1 2
c)T
VDγ−
1 2
c
c
i=1
//
Let
c
=
1
Dγ2
VT β
N
= min
c
(yi − cT φ(xi))2 + λcT cD−γ 1
i=1
N
= min
{cj }∞ 1 i=1
m=1
Let gkm = hm(x)φk(x)dx and calculate ·, φ (y) , then
M
gkmhm(y) = γkφk(y)
(4)
m=1
M
gkm( hm(y)φ (y)dy) = γk φk(y)φ (y)dy
m=1
M
gkmg m = γkδk,
m=1
3
where

第5章 聚类方法
第5章 聚类方法
5.1 概述 5.2 划分聚类方法 5.3 层次聚类方法 5.4 密度聚类方法 5.5 基于网格聚类方法 5.6 神经网络聚类方法：SOM 5.7 异常检测
第5章 聚类方法
5.1 概 述
聚类分析源于许多研究领域，包括数据挖掘、统计学、 机器学习、模式识别等。它是数据挖掘中的一个功能，但也 能作为一个独立的工具来获得数据分布的情况，概括出每个 簇的特点，或者集中注意力对特定的某些簇作进一步的分析。 此外，聚类分析也可以作为其他分析算法 (如关联规则、分 类等)的预处理步骤，这些算法在生成的簇上进行处理。
凝聚的方法也称为自底向上的方法，一开始就将每个对 象作为单独的一个簇，然后相继地合并相近的对象或簇，直 到所有的簇合并为一个，或者达到终止条件。如AGNES算法 属于此类。
第5章 聚类方法
(3) 基于密度的算法(Density based Methods)。 基于密度的算法与其他方法的一个根本区别是： 它不是 用各式各样的距离作为分类统计量，而是看数据对象是否属 于相连的密度域，属于相连密度域的数据对象归为一类。如 DBSCAN (4) 基于网格的算法(Grid based Methods)。 基于网格的算法首先将数据空间划分成为有限个单元 (Cell)的网格结构，所有的处理都是以单个单元为对象的。这 样处理的一个突出优点是处理速度快，通常与目标数据库中 记录的个数无关，只与划分数据空间的单元数有关。但此算 法处理方法较粗放，往往影响聚类质量。代表算法有STING、 CLIQUE、WaveCluster、DBCLASD、OptiGrid算法。
(3) 许多数据挖掘算法试图使孤立点影响最小化，或者排除 它们。然而孤立点本身可能是非常有用的，如在欺诈探测中， 孤立点可能预示着欺诈行为的存在。

第五次作业Weihua Wang 1、假设数据挖掘的任务是将如下八个点聚类为三个类.A1(2,10) A2(2,5) A3(8,4) B1(5,8) B2(7,5) B3(6,4) C1(1,2) C2(4,9)距离函数为欧几里得函数.假设初始我们选择A1,B1,C1为每个聚类的中心,用K-means 方法给出:a)在第一次循环后的三个聚类中心b)最后的三个簇解:首先计算A1(2,10) A2(2,5) A3(8,4) B1(5,8) B2(7,5) B3(6,4) C1(1,2) C2(4,9) A1(2,10) 0 5 8.49 3.61 7.08 7.21 8.06 2.24 B1(5,8) 3.61 4.24 5 0 3.61 4.12 7.21 1.41 C1(1,2) 8.06 3.16 7.28 7.21 6.71 5.36 0 7.62由上表可得,各点的归属簇为:A1:A1,B1:A3,B1,B2,B3,C2C1:A2,C1第一次循环后三个聚类中心为First1:(2,10)First2:((8+5+7+6+4)/5,(4+8+5+4+9)/5)=(6,6)First3:((2+1)/2,(5+2)/2)=(1.5,3.5)继续计算各点到簇中心的距离A1(2,10) A2(2,5) A3(8,4) B1(5,8) B2(7,5) B3(6,4) C1(1,2) C2(4,9) F1(2,10) 0 5 8.49 3.61 7.08 7.21 8.06 2.24 F2(6,6) 5.66 4.12 2.83 2.24 1.41 2 6.40 3.61 F3(1.5,3.5) 6.52 1.58 6.52 5.70 5.70 4.53 1.58 6.04由上表可得,各点的归属簇为:F1:A1,C2F2:A3,B1,B2,B3F3:A2,C1Second1:((2+4)/2,(10+9)/2)=(3,9.5)Second2:((8+5+7+6)/4,(4+8+5+4)/4)=(6.5,5.25)Second3:((2+1)/2,(5+2)/2)=(1.5,3.5)继续计算各点到簇中心的距离A1(2,10) A2(2,5) A3(8,4) B1(5,8) B2(7,5) B3(6,4) C1(1,2) C2(4,9) S1(3,9.5) 1.12 4.61 7.43 2.50 6.02 6.26 7.76 1.12 S2(6.5,5.25) 6.54 4.51 1.96 3.13 0.56 1.35 6.39 4.51 S3(1.5,3.5) 6.52 1.58 6.52 5.70 5.70 4.53 1.58 6.04由上表可知，各点的归属簇为：S1：A1,B1,C2S2：A3,B2,B3S3：A2,C1Third1:((2+5+4)/3,(10+8+9)/3)=(3.67,9)Third2:((8+7+6)/3,(4+5+4)/3)=(7,4.33)Third3: ((2+1)/2,(5+2)/2)=(1.5,3.5)A1(2,10) A2(2,5) A3(8,4) B1(5,8) B2(7,5) B3(6,4) C1(1,2) C2(4,9) T1(3.67,9) 1.95 4.33 6.61 1.66 5.20 5.52 7.49 0.33 T2(7,4.33)7.56 5.04 1.05 4.18 0.67 1.05 6.44 5.55 T3(1.5,3.5) 6.52 1.58 6.52 5.70 5.70 4.53 1.58 6.04由上表可知，各点的归属簇为：T1:A1,B1,C2T2:A3,B2,B3T3:A2,C1各点的归属簇至此已不发生变化，故最后的三个簇为：Final1:A1,B1,C2Final2:A3,B2,B3Final3:A2,C12、进行单链和全链层次聚类，绘制树状图显示结果，树状图应当清楚地显示合并的次序。

一、填空题1、每一个分类规则可以表示为如下形式:():i i i r y →条件规则左边称为 ，规则右边称为 ，包含预测类i y 。

2、给定数据集D 和分类规则:r A y →，将D 中触发规则r 的记录所占的比例称为规则的 。

3、给定数据集D 和分类规则 :r A y →，将D 中触发r 的记录中类标号等于y 的记录所占的比例称为规则的 。

4、分类规则的质量可用规则的 和 表示。

5:r (胎生=是 )∧ (体温=恒温)→哺乳类的覆盖率是 ；规则的准确率是 。

6、规则集的两个重要性质是 和 。

7、如果规则集R 中不存在两条规则被同一条记录触发，则称规则集R 中的规则是 ，这个性质确保每条记录至多被R 中的一条规则覆盖。

8、如果对属性值的任一组合，R 中都存在一条规则加以覆盖，则称规则集R 具有 ，这个性质确保每一条记录都至少被R 中的一条规则覆盖。

9、以下是脊椎动物分类问题的规则集：1:r (胎生=否)∧ (飞行动物=是)→鸟类2:r (胎生=否 )∧(水生动物=是)→鱼类3:r(胎生=是)∧(体温=恒温)→哺乳类4:r(胎生=否)∧(飞行动物=否)→爬行类5:r(水生动物=半)→两栖类、提取分类规则的方法有和两大类。

11、提取分类规则的直接方法是指。

12、提取分类规则的间接方法是指。

13、规则的排序方案有和两种。

14、常见的分类规则增长策略有和两种。

二、问答题1、如果基于规则的分类器中的规则集不是穷举的，应该如何解决？2、如果基于规则的分类器中的规则集不是互斥的，应该如何解决？3、使用无序规则来建立基于规则的分类器有什么利弊？4、k-近邻分类器中，k值的大小对分类器的性能会产生什么影响？5、考虑一个二值分类问题，属性集和属性值如下：空调={可用，不可用}引擎={好，差}行车里程={高，中，低}生锈={是，否}假设一个基于规则的分类器产'生的规则集如下：1:r行车里程=高→价值=低2:r行车里程=低→价值=高3:r空调=可用，引擎=好→价值=高4:r空调=可用，引擎=差→价值=低5:r空调=不可用→价值=低(1)这些规则是互斥的吗?(2)这些规则集是完全的吗?(3)规则需要排序吗?(4)规则集需要默认类吗?三、计算题1、设有一个训练集，它包含60个正例和100个反例。

1-α Zα/2 0.99 2.58 0.98 2.33 0.95 1.96 0.9 1.65 0.8 1.28 0.7 1.04 0.5 0.67
27
第5章 评估技术
假设检验的两类错误
计算接受 正确的零假设 正确的接受 错误的零假设 第二类错误 计算拒绝 第一类错误 正确的拒绝
第一类错误：拒绝了正确的原假设 ——弃真错误 第二类错误：不拒绝错误的原假设
25
第5章 评估技术
Z检验的计算公式
Z检验的基本原理是计算两个均值之间差的Z分数，再与理论 Z值相比较。若Z分数大于理论Z值，判定两个均值之间的 差异是显著的，否则是不显著的。
要95%的确信两个样 本之间的差异是显著 的，等式中Z>=1.96 运用条件：每 个均值是用两 个独立数据集 计算出来的
26
x 99
14
-99
-3
-2
-1
0
1
2
3
第5章 评估技术
（3）正态分布和样本均值
一般通过抽样调查的方法得到样本数据，计算样本数据的 分布，若能够确定样本数据的分布与总体数据的分布一致 ，则可以使用样本数据的分布来表示总体数据的分布。
样本1
X2 X1 X5 X8
样本2
X5 X7
样本3
X7 X3
X7
X8 X2 X5 X4 X7 X3
实际应用中，期望得到持续、稳定的高预测准确度。 比如评估信用或抵押风险，接受或拒绝一个信用卡申请， 接受或拒绝一个房屋抵押贷款。 需要一个高 分类正确率 的模型
32
第5章 评估技术
5.2.1 评估分类类型输出模型
输出属性为二元取值的问题被称为双类问题，即取值为“是
”与“否”，“真”与“假”，“接受”与“拒绝”。

数据挖掘作业答案第二章数据准备5.推出在[-1,1]区间上的数据的最小－最大标准化公式。

解：标准化相当于按比例缩放，假如将在[minA,maxA]间的属性A的值v映射到区间[new_minA,new_maxA]，根据同比关系得：(v-minA)/(v’-new_minA)=(maxA-minA)/(new_maxA-new_minA)化简得：v’=(v-minA)* (new_maxA-new_minA)/ (maxA-minA)+ new_minA6.已知一维数据集X={-5.0 , 23.0 , 17.6 , 7.23 , 1.11},用下述方法对其进行标准化：a) 在[-1,1]区间进行小数缩放。

解：X’={-0.050 ，0.230 ，0.176 ，0.0723 ，0.0111}b) 在[0,1]区间进行最小－最大标准化。

解：X’={0 , 1 , 0.807 ，0.437 ，0.218 }c) 在[-1,1]区间进行最小－最大标准化。

解：X’={-1 , 1 , 0.614 , -0.126 , 0.564}d) 标准差标准化。

解：mean=8.788 sd=11.523X’={-1.197 , 1.233 , 0.765 , -0.135 , -0.666}e) 比较上述标准化的结果，并讨论不同技术的优缺点。

解：小数缩放标准化粒度过大(以10为倍数)，但计算简单；最小-最大值标准化需要搜索整个数据集确定最小最大数值，而且最小最大值的专家估算可能会导致标准化值的无意识的集中。

标准差标准化对距离测量非常效，但会把初始值转化成了未被认可的形式。

8.已知一个带有丢失值的四维样本。

X1={0,1,1,2}X2={2,1,*,1}X3={1,*,*,-1}X4={*,2,1,*}如果所有属性的定义域是[0,1,2]，在丢失值被认为是“无关紧要的值”并且都被所给的定义域的所有可行值替换的情况下，“人工”样本的数量是多少？解：X1 “人工”样本的数量为 1X2 “人工”样本的数量为 3X3 “人工”样本的数量为9X4 “人工”样本的数量为9所以“人工”样本的数量为1×3×9×9＝24310．数据库中不同病人的子女数以矢量形式给出：C={3，1，0，2，7，3，6，4，-2，0，0，10，15，6}a)应用标准统计参数——均值和方差，找出C中的异常点：mean=3.9286 sd=4.4153在3个标准差下的阈值：阈值=均值±3*标准差=3.928±3*4.4153=[-9.318，17.174]根据实际情况子女数不可能为负数，所以其范围可缩减为：[0，17.174]C中的异常点有：-2b)在2个标准差下的阈值：阈值=均值±2*标准差=3.928±2*4.4153=[-4.903，12.758]根据实际情况子女数不可能为负数，所以其范围可缩减为：[0，12.758]C中的异常点有：-2, 1511．已知的三维样本数据集X：X=[{1，2，0}，{3，1，4}，{2，1，5}，{0，1，6}，{2，4，3}，{4，4，2}，{5，2，1}，{7，7，7}，{0，0，0}，{3，3，3}]。

（5）刷新：将数据源的更新传播到数据仓库中
五、计算题
（1）假定基本立方体有三个维A，B，C，其单元数如下：|A|=100,000，|B|=10,000，|C|=1,000，假定分块将每维分成10部分
a.请指出方体中内存空间需求量最小的块计算次序和内存空间需求量最大的块计算次序；
b.分别求这两个次序下计算二维平面所需要的内存空间的大小。
(a)为数据仓库画出雪花模式图。
(b)由基本方体[student, course, semester, instructor]开始，为列出Big_University每个学生的CS课程的平均成绩，应当使用哪些OLAP操作（如，由学期上卷到学年）。
(c)如果每维有5层（包括all），如student < major < status < university <all，该数据方包含多少方体（包含基本方体和顶点方体）？
（4）请简述几种典型的多维数据的OLAP操作
答：典型的OLAP操作包括以下几种
上卷：通过一个维的概念分层向上攀升或者通过维归约，在数据立方体上进行聚集；
下钻：上卷的逆操作，由不太详细的数据得到更详细的数据；通常可以通过沿维的概念分层向下或引入新的维来实现；
切片：在给定的数据立方体的一个维上进行选择，导致一个子方；
（2）（6）关于数据仓库的设计，四种不同的视图必须考虑，分别是：自顶向下视图、数据源视图、数据仓库视图、商务查询视图
（3）（7）OLAP服务器的类型主要包括：关系OLAP服务器(ROLAP)、多维OLAP服务器(MOLAP)和混合OLAP服务器(HOLAP)
（4）（8）求和函数sum()是一个分布的
切块：通过对两个或多个维执行选择，定义子方；

常用的分类算法有： 单一的分类方法主要包括：决策树、贝叶斯、人工神经
网络、K-近邻、支持向量机等； 用于组合单一分类方法的集成学习算法，如Bagging和
Boosting、adaboost等。
西安邮电大学
5.2 KNN算法原理
KNN(K-NearestNeighbor) 算法是一个理论上比较 成熟的方法，最初由Cover和Hart于1968年提出，其思 路非常简单直观，易于快速实现。
✓ 缩小训练样本的方法：在原有的样本中删掉一部分 与分类相关不大的样本，将剩下的样本作为新的训 练样本或者在原来的训练样本集中选取一些代表样 本作为新的训练样本；
✓ 通过聚类（clustering），将聚类所产生的中心点 作为新的训练样本。
(2)从优化相似度度量方法的角度
基本的KNN算法基于欧几里得距离来计算样本的相 似度，这种方法对噪声特征非常敏感。
可以采用均匀化样本分布密度的方法进行改进。
(4)从选取恰当k值的角度
由于KNN算法中几乎所有的计算都发生在分类阶段， 而且分类效果很大程度上依赖于k值的选取。而目前为 止，比较好的选k值的方法只能是通过反复试验调整。
小结： KNN算法主要依据邻近的k个样本来进行类别的判
断。然后依据k个样本中出现次数最多的类别作为未 知样本的类别。这也就是人们常说的“物以类聚，人 以群分”、“近朱者赤，近墨者黑”。在选择分类算 法时我们应该根据具体应用的需求，选择适当的分类 算法。
KNN可以说是一种最直接的用来分类未知 数据的方法。
5.2.1 KNN算法原理
简单来说，KNN可以 看成：有那么一堆你已 经知道分类的数据，然 后当一个新数据进入的 时候，就开始跟训练数 据里的每个点求距离， 然后挑出离这个数据最 近的K个点，看看这K个 点属于什么类型，然后 用少数服从多数的原则， 给新数据归类。

数据挖掘分析技术作业指导书第1章数据挖掘概述 (3)1.1 数据挖掘的基本概念 (3)1.2 数据挖掘的主要任务与过程 (3)1.3 数据挖掘的应用领域 (4)第2章数据预处理 (4)2.1 数据清洗 (4)2.1.1 缺失值处理 (4)2.1.2 异常值处理 (4)2.1.3 重复值处理 (4)2.2 数据集成 (4)2.2.1 数据集成方法 (4)2.2.2 数据集成策略 (5)2.2.3 数据集成质量控制 (5)2.3 数据变换 (5)2.3.1 数据规范化 (5)2.3.2 属性构造 (5)2.3.3 数据离散化 (5)2.4 数据归一化与离散化 (5)2.4.1 数据归一化 (5)2.4.2 数据离散化 (5)2.4.3 离散化方法 (5)2.4.4 离散化策略 (5)第3章数据仓库与联机分析处理 (5)3.1 数据仓库的基本概念 (5)3.1.1 定义与特点 (6)3.1.2 数据仓库架构 (6)3.1.3 数据仓库与操作型数据库的区别 (6)3.2 数据仓库的构建与维护 (6)3.2.1 数据仓库构建策略 (6)3.2.2 数据抽取与转换 (6)3.2.3 数据仓库维护 (6)3.3 联机分析处理技术 (6)3.3.1 基本概念与分类 (7)3.3.2 OLAP操作 (7)3.3.3 OLAP关键特性 (7)3.4 数据立方体的构建与应用 (7)3.4.1 数据立方体的构建 (7)3.4.2 数据立方体的应用 (7)3.4.3 数据立方体的优化 (7)第4章关联规则挖掘 (7)4.1 关联规则的基本概念 (7)4.2 Apriori算法 (8)4.3 FPgrowth算法 (8)4.4 关联规则挖掘的应用 (8)第5章分类与预测 (8)5.1 分类的基本概念 (8)5.2 决策树算法 (9)5.3 朴素贝叶斯算法 (9)5.4 支持向量机算法 (9)第6章聚类分析 (10)6.1 聚类的基本概念 (10)6.2 Kmeans算法 (10)6.3 层次聚类算法 (10)6.4 密度聚类算法 (11)第7章时间序列分析与预测 (11)7.1 时间序列的基本概念 (11)7.2 时间序列的预处理 (11)7.3 时间序列预测方法 (11)7.4 时间序列模型的选择与应用 (12)第8章异常检测与空间数据挖掘 (12)8.1 异常检测的基本概念 (12)8.2 基于距离的异常检测方法 (12)8.3 基于密度的异常检测方法 (13)8.4 空间数据挖掘及其应用 (13)第9章文本挖掘与情感分析 (13)9.1 文本挖掘的基本概念 (13)9.2 文本预处理技术 (13)9.3 文本分类与聚类 (14)9.4 情感分析与观点挖掘 (14)第10章数据挖掘项目实施与评估 (14)10.1 数据挖掘项目实施流程 (14)10.1.1 项目启动 (14)10.1.2 数据准备 (15)10.1.3 数据挖掘建模 (15)10.1.4 模型评估与优化 (15)10.1.5 模型部署与应用 (15)10.2 数据挖掘模型的评估与优化 (15)10.2.1 模型评估指标 (15)10.2.2 模型优化策略 (15)10.2.3 模型调参技巧 (15)10.3 数据挖掘项目的管理与风险控制 (15)10.3.1 项目管理 (15)10.3.2 风险识别与评估 (15)10.3.3 风险应对措施 (15)10.3.4 项目沟通与协作 (16)10.4 数据挖掘成果的应用与推广 (16)10.4.1 成果应用 (16)10.4.2 成果推广 (16)10.4.3 持续优化 (16)第1章数据挖掘概述1.1 数据挖掘的基本概念数据挖掘（Data Mining），又称知识发觉，是指从大量数据中通过算法和统计分析方法，挖掘出潜在的、有价值的信息和知识的过程。

数据挖掘05数据立方体
51、山气日夕佳，飞鸟相与还。 52、木欣欣以向荣，泉涓涓而始流。
53、富贵非吾愿，帝乡不可期。 54、雄发指危冠，猛气冲长缨。 55、土地平旷，屋舍俨然，有良田美 池桑竹 之属， 阡陌交 通，鸡 犬相闻 。
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒。——莎士比亚
25、学习是劳动，是充满思想的劳动。 Nhomakorabea—乌申斯基
谢谢！

5.2.3 特征表示
特征表示是指以一定特征项(如词条)来代 表文档，在文本挖掘时只需对这些特征 项进行处理，从而实现对非结构化的文 本处理。这是一个非结构化向结构化转 换的处理步骤。
1 布尔模型
布尔模型是向量空间模型的一种简化，它是 一种简单的严格匹配向量模型，定义了一个 二值映射函数 f :T →{0,1}，权值Wi={0， 1}。
第5章 文本挖掘
5.1 文本挖掘基础
1 文本挖掘
将数据挖掘的成果用于分析以自然语言描述 的文本，这种方法被称为文本挖掘(Text Mining)或文本知识发现(Knowledge Discovery in Text).
利用文本切分技术，抽取文本特征，将文本数据 转化为能描述文本内容的结构化数据，然后利 用聚类、分类技术和关联分析等数据挖掘技术 发现新的概念和获取相应的关系。
所以我们通常根据w(d,t)值的大小，选择 指定数目的词条作为文本的特征项，生 成文本的特征向量。这种算法一方面突 出了文档中用户需要的词，另一方面， 又消除了在文本中出现频率较高但与文 本语义无关的词条的影响。对于单词数 较多的静态文本特征选择效果较好。
5.2.4 文本间相似性
基于向量空间模型的常用方法
N 表示文本总数。
表示文档词频的词频矩阵
d1
d2
d3
d4
d5
d6
t1
322
85
35
69
15 320
t2
361
90
76
57
13 370
t3
25
33 160 48 221 26
t4
30 140 70 201 16
35
对于词条 t 和某一文本 d 来说，词条 t 在该文本 d 的权 重计算公式： 如果一个词条在整个文本集合中出现的频率很高，即 趋近于 0，从而使得该词条在文本中的权重很小，所以词 条对文本的区分度很低。

5.4.4 关联规则
关联规则是数据挖掘领域中的一个非常重要的研 究课题，广泛应用于各个领域，既可以检验行业内长 期形成的知识模式，也能够发现隐藏的新规律。有效 地发现、理解、运用关联规则是完成数据挖掘任务的 重要手段，因此对关联规则的研究具有重要的理论价 值和现实意义。
5.4.5
粗糙集
粗糙集是数据挖掘的方法之一，它是处理模糊和
5.2.3
Hale Waihona Puke 关系分析关联分析的目的是找出数据库中隐藏的关联网，描述一组 数据项目的密切度或关系。有时并不知道数据库中数据的关联
是否存在精确的关联函数，即便知道也是不确定的，因此关联 分析生成的规则带有置信度，置信度级别度量了关联规则的强 度。
5.2.4
聚类
当要分析的数据缺乏描述信息，或者是无法组织成任何分 类模式时，可以采用聚类分析。聚类分析是按照某种相近程度 度量方法，将用户数据分成一系列有意义的子集合。每一个集 合中的数据性质相近，不同集合之间的数据性质相差较大。 统计方法中的聚类分析是实现聚类的一种手段，它主要研 究基于几何距离的聚类。人工智能中的聚类是基于概念描述的 。概念描述就是对某类对象的内涵进行描述，并概括这类对象 的有关特征。概念描述分为特征性描述和区别性描述，前者描 述某类对象的共同特征，后者描述不同类对象之间的区别。
5.3.4 建立模型
（1）选择建模技术 （2）生成模型 （3）建立模型
（4）评估模型
5.3.5
结果评价
在大多数情况下，数据挖掘模型应该有助于决策。 因此，要对这种模型进行说明以使模型有用，因为人 们不会在复杂的“黑箱模型”的基础上作决策。注意， 模型准确性的目标和模型说明的准确性的目标有点互 相矛盾。一般来说，简单的模型容易说明，但是其准 确性就差一些。

5.1 文本聚类概述
国内外研究现状与发展趋势 经过半个多世纪的研究，目前已经有了许多关于聚类分析的著作，聚类分析也
逐渐有了成熟的体系，并在数据挖掘方法中占据了重要的地位，现有的聚类分析方 法有以下五种，分别是划分式聚类算法、层次聚类算法、基于密度的聚类算法、基 于网格的聚类算法和基于模型的聚类算法。
5.2 文本聚类原理与方法
基于划分的方法 基于划分的方法就是给定一组未知的文档，然后通过某种方法将这些文档划分
成多个不同的分区，具体要求就是每个分区内文档尽可能的相似，而在不同分区的 文档差异性较大。给定一个含有n个文档的文本集，以及要生成的簇的数目k。每一 个分组就代表一个聚类，k<n。这k个分组满足下列条件：每一个分组至少包含一个 文档，每一个文档属于且仅属一个分组。对于给定的k，算法首先的任务就是将文 本集建成k个划分，以后通过反复迭代从而改变分组的重定位，使得毎一次改进之 后的分组方案都较前一次好。将文档在不同的划分间移动，直至满足一定的准则。 一个好的划分的一般准则是：在同一个簇中的文档尽可能“相似”，不同簇中的文 档则尽可能“相异”。
5.1 文本聚类概述
研究热点： （1）对于一些需要事先确定聚类数以及初始聚类中心的算法，如何优化这些超 参数的选取，从而提高算法的稳定性以及模型质量？ （2）目前的许多聚类算法只适用于结构化数据，如何通过对现有算法进行改进 使其同样适用于非结构化数据？ （3）随着大数据时代的来临，数据的体量变得越来越大，如何对现有算法进行 改进从而使得算法更加高效稳定？ （4）现有的某些算法对于凸形球状的文档集有良好的聚类效果，但是对于非凸 文档集的聚类效果较差，如何改进现有算法从而提高算法对不同文档集的普适性？
由于中文文档没有词的边界，所以一般先由分词软件对中文文档进行分词，然 后再把文档转换成向量，通过特征抽取后形成样本矩阵，最后再进行聚类，文本聚 类的输出一般为文档集合的一个划分。

数据挖掘课后习题数据挖掘作业1——6第一章绪论1)数据挖掘处理的对象有哪些？请从实际生活中举出至少三种。

1、关系数据库2、数据仓库3、事务数据库4、高级数据库系统和数据库应用如空间数据库、时序数据库、文本数据库和多媒体数据库等,还可以是 Web 数据信息。

实际生活的例子：①电信行业中利用数据挖掘技术进行客户行为分析，包含客户通话记录、通话时间、所开通的服务等，据此进行客户群体划分以及客户流失性分析。

②天文领域中利用决策树等数据挖掘方法对上百万天体数据进行分类与分析，帮助天文学家发现其他未知星体。

③市场业中应用数据挖掘技术进行市场定位、消费者分析、辅助制定市场营销策略等。

2)给出一个例子，说明数据挖掘对商务的成功是至关重要的。

该商务需要什么样的数据挖掘功能？它们能够由数据查询处理或简单的统计分析来实现吗？以一个百货公司为例，它可以应用数据挖掘来帮助其进行目标市场营销。

运用数据挖掘功能例如关联规则挖掘，百货公司可以根据销售记录挖掘出强关联规则，来诀定哪一类商品是消费者在购买某一类商品的同时，很有可能去购买的，从而促使百货公司进行目标市场营销。

数据查询处理主要用于数据或信息检索,没有发现关联规则的方法。

同样地，简单的统计分析没有能力处理像百货公司销售记录这样的大规模数据。

第二章数据仓库和OLAP技术1)简述数据立方体的概念、多维数据模型上的OLAP操作。

●数据立方体数据立方体是二维表格的多维扩展，如同几何学中立方体是正方形的三维扩展一样，是一类多维矩阵，让用户从多个角度探索和分析数据集，通常是一次同时考虑三个维度。

数据立方体提供数据的多维视图，并允许预计算和快速访问汇总数据。

●多维数据模型上的OLAP操作a)上卷(roll-up):汇总数据通过一个维的概念分层向上攀升或者通过维规约b)下卷(drill-down):上卷的逆操作由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现c)切片和切块(slice and dice)投影和选择操作d)转轴(pivot)立方体的重定位，可视化，或将一个3维立方体转化为一个2维平面序列2)OLAP多维分析如何辅助决策？举例说明。