数据仓库与数据挖掘PPT第10章 聚类方法

混合变量相异度计算
p
d(f) ij
d (i, j) 1
p
其中
d
( ij
f
) 为单个类型变量定义的距离；
p为变量的个数。
聚类分析中的数据类型
向量对象的距离算法
0 1 2 2
在某些应用中，如信息
0
4
3
0
检索，文本文档聚类，生 .......... .........
物学分类中，需要对大量
主要聚类方法的分类
划分聚类方法
划分方法将给定的数据集划分成k份，每份为一个簇。 划分方法通常采用迭代重定位技术，尝试通过对象 在簇之间的移动在改进划分。
主要聚类方法的分类
层次聚类方法
层次聚类方法创建给定数据 对象集的层次分解。一般可 以分为凝聚法与分裂法。
凝聚法：也称为自底向上的 方法，开始将每个对象形成 单独的簇，然后逐次合并相 近的对象或簇，直到满足终 止条件。
计算欧几里得距离与曼哈顿距离
聚类分析中的数据类型
二元变量
0 1
属性的取值仅为0或1， 0表示该变量不会出现，
1
1
..........
1表示该变量出现。
..........
设二q元为变对量象相i与异j度都计取算1的变量的 ..个.....数...
0 1
0
0
.........
.........
(6) UNTIL E不再明显地发生变化。
k-means算法
1. 初始化聚类中心 (k=3)；
2. 根据每个样本到各个中 心的距离，计算k个簇。
3. 使用每个簇的样本，对 每个簇生成新的中心。
.......
4

簇的距离是属于不同簇的两个样本间的最近距 离
d(c1,c2)=min{d(o,O)}
完全连接（最远邻）
两个簇的距离隶属于不同簇的距离最远的两 个对象的距离所决定（最远邻的距离）
组平均
两个簇的距离就是隶属不同簇的所有对象的距离 的平均
1
d(c1,c2)
{d(o,O}
n1n2oc1,oc2
对象的数量 和任何启发式搜素算法一样，局部最优是一个问题 对结果的解释具有主观性
算法的步骤
决定k的取值 初始化k个簇中心 通过把对象分配给最近的簇中心来确定N个
对象的簇隶属关系 假设上面所得的隶属关系是正确的，重新计
算k个簇中心 若在最后一次迭代中N个对象无一再改变隶
属关系，则退出，否则再转第3步
在经济研究中，为了研究不同地区城镇居民生活中的收入 和消费情况，往往需要划分不同的类型去研究。
在地质学中，为了研究矿物勘探，需要根据各种矿石的化 学和物理性质和所含化学成分把它们归于不同的矿石类。
在人口学研究中，需要构造人口生育分类模式、人口死亡 分类状况，以此来研究人口的生育和死亡规律。
但历史上这些分类方法多半是人们主要依靠经验作定性分 类，致使许多分类带有主观性和任意性，不能很好地揭示 客观事物内在的本质差别与联系；特别是对于多因素、多 指标的分类问题，定性分类的准确性不好把握。
n
1 p
dita scn(e o1,o2)( oikojk )r
k 1
（5）差异百分率
dtia scn (o e1 ,o2)10 [N 0 um (oib ko ejk )r] n
二元属性对象的相似性
当项不能用有意义的p维测量表示时，项对之间的 比较通常根据某些特征的存在和缺失完成，相似的 项具有更多的共同项

3. 连通性相似性度量
数据集用图表示，图中结点是对象，而边代表对象之 间的联系，这种情况下可以使用连通性相似性，将簇定义 为图的连通分支，即图中互相连通但不与组外对象连通的 对象组。
也就是说，在同一连通分支中的对象之间的相似性度 量大于不同连通分支之间对象的相似性度量。
某种距离函数
4. 概念相似性度量
值ε，即：
k
SSE
| o mx |2
x1 oCx
k-均值算法示例
【例10.3】如图10.4所示是二维空间中的10个数据点 （数据对象集），采用欧几里得距离，进行2-均值聚类。其 过程如下：
初始的10个点
（1）k=2，随机选择两个点作为质心，假设选取的质 心在图中用实心圆点表示。
（2）第一次迭代，将所有点按到质心的距离进行划分， 其结果如图10.5所示。
10.1.6 聚类分析在数据挖掘中的应用
① 聚类分析可以用于数据预处理。 ② 可以作为一个独立的工具来获得数据的分布情况。 ③ 聚类分析可以完成孤立点挖掘。
10.1.7 聚类算法的要求
① 可伸缩性。 ② 具有处理不同类型属性的能力。 ③ 能够发现任意形状的聚类。 ④ 需要（由用户）决定的输入参数最少。 ⑤ 具有处理噪声数据的能力。 ⑥ 对输入记录顺序不敏感。 ⑦ 具有处理高维数据的能力。 ⑧ 支持基于约束的聚类。 ⑨ 聚类结果具有好的可解释性和可用性。
只有在簇的平均值被定义的情况下才能使用，那当涉 及有分类属性的数据时该怎么办?
需要事先给出k，即簇的数目 不能处理噪声数据和孤立点 不适合发现非凸面形状的簇
5. 二分k-均值算法
二分k-均值算法是基本k-均值算法的直接扩充，它基于 一种简单的想法：为了得到k个簇，将所有点的集合分为两 个簇，从这些簇中选取一个继续分裂，如此下去，直到产 生k个簇。

8/21/2024
25
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（3）分类函数
按照修改原则不同，动态聚类方法有按批修改法、逐个修改法、混合法等。 这里主要介绍逐步聚类法中按批修改法。按批修改法分类的原则是，每一步修 改都将使对应的分类函数缩小，趋于合理，并且分类函数最终趋于定值，即计 算过程是收敛的。
8/21/2024
23
1.2.2 动态聚类分析法
1.2 聚类分析的种类
（2）初始分类 有了凝聚点以后接下来就要进行初始分类，同样获得初始分类也有不同的
方法。需要说明的是，初始分类不一定非通过凝聚点确定不可，也可以依据其 他原则分类。
以下是其他几种初始分类方法： ①人为分类，凭经验进行初始分类。 ②选择一批凝聚点后，每个样品按与其距离最近的凝聚点归类。 ③选择一批凝聚点后，每个凝聚点自成一类，将样品依次归入与其距离
8/21/2024
14
1.2 聚类分析的种类
（2）系统聚类分析的一般步骤 ①对数据进行变换处理； ②计算各样品之间的距离，并将距离最近的两个样品合并成一类； ③选择并计算类与类之间的距离，并将距离最ቤተ መጻሕፍቲ ባይዱ的两类合并，如果累的个
数大于1，则继续并类，直至所有样品归为一类为止； ④最后绘制系统聚类谱系图，按不同的分类标准，得出不同的分类结果。
8/21/2024
18
1.2 聚类分析的种类
（7）可变法
1 2 D kr
2 （8）离差平方和法
(D k 2 pD k 2 q)D p 2q
D k 2 rn n ir n n p i D i2 pn n ir n n q iD i2 qn rn in iD p 2 q
8/21/2024