标准化与正交化是聚类分析的必选项
杜子芳1
摘要
聚类分析是三大多元统计分析方法之一，在许多领域都有广泛的应用，特别是在模式识别或无学习分类领域，发挥着不可替代的作用。除谱系聚类的ward 方法外，聚类分析的关键依据是样品间距。样品间距完全脱胎于几何中的距离概念，但样品间距在几何距离三角可加性里所隐含的各变量量纲必须一致且必须正交的两个关键特性或许是有意或许是不经意地被模糊了。本文的结论是各变量量纲一致且正交应是聚类分析的强制要求，而主成分分析是正交化的最佳手段，应该成为聚类分析程序相关模块的缺省设置或唯一选项。
聚类分析是三大多元统计分析方法之一，在许多领域都有广泛的应用，特别是在模式识别或无学习分类领域，发挥着不可替代的作用。聚类分析不仅表现活跃，而且分支众多。首先有样品聚类与变量聚类之分，其中样品聚类又有面向大样本量情形的快速聚类与面向样本量不大情形的常规聚类两个分支。对于这其中的常规聚类，还可细分为有序样品聚类与非有序样品聚类，而对于非有序样品聚类，有聚类类数由少而多的分解法与由多而少的归并法的区别。归并法最为常用，也称谱系聚类。
聚类家族人丁兴旺，其共同的基因可以归纳为两个：一是“模型”限于处理数值型变量尤其是非离散变量；二是“模型”的基础除变量聚类少数场合外其余概为距离计算。不妨回顾一下聚类分析的过程与细节，容易知道无论是谱系聚类还是快速聚类，任何场合的距离计算不外乎三种：样品之间的距离、样品到类的距离以及类与类之间的距离。而这些计算的唯一依据是样品之间的距离，简称样品间距，只有谱系聚类的ward 方法例外。
距离首先是一个几何概念，其中最为人熟悉的是二维和三维几何空间的欧几里德距离。在其后的发展中，距离在维数、幂次数等方面被推广2了，距离被抽象为满足下列性质的一个函数族：（1）非负性，（2）对称性，（3）三角可加性。
值得提醒人们特别关注的是，三角可加性虽然是一种特殊的可加性，但毕竟还是可加性，而可加性意味着几何距离中向量的各分量量纲必须一致；至于可加性前面要加上“三角”做修饰，则意味着几何距离中向量的各分量在笛卡尔坐标系里必须正交。这是几何距离定义中所隐含的两个重要特性。
样品间距完全脱胎于几何中的距离概念，这是毋庸置疑的。但样品间距在几何距离隐含的上述两个关键特性上或许是被人们有意或许是不经意地被模糊3了。假如询问学过回归分析的学生，需要进行多重共线性的诊断吗？回答“是的”几乎会百分之百。而假如询问学过聚类分析的学生，聚类分析需要进行量纲不一致和变量不正交的诊断吗？回答是的恐属凤毛麟角。还有一个明证是聚类分析程序中既无量纲
1 中国人民大学统计学院教授
2 最典型的代表是明氏距离：闵斯科斯基（Minkowski ）距离q t q jt it ij x x d /1P
1]||[∑=-=
3 虽然在有些多元统计教科书里也提及这两点，但一来多以某种距离定义如明氏距离存在这样的缺陷的方式提到，二来并不断言必须克服这一缺陷，因而提供一套标准的处理程序，成为聚类分析的必选设置。这个事实本身似乎并不令人意外。对数学家而言，分量正交是当然的，何必刻意要提？对生物、医学、统计学等领域的专家而言，要么没有意识到，要么认为距离计算需要的前提不满足干系不大。
一致和变量正交化的独立模块，在内容相关的模块里，缺省设置也不是能使量纲一致和变量正交化的手段选项。
被人们有意或许是不经意地被模糊的两个关键特性，一是几何距离中向量的各分量量纲是一致的，故各分量的量值是可加的，可样品距离中各个变量许多场合量纲并非一致。多元统计分析中关于消除量纲的方法是比较丰富的，主要有标准化变换、极差标准化变换和极差规格化变换三种。但一者人们往往将这些方法与中心化变换和对数变换之类变换方法并列，且对三种消除量纲影响的方法孰优孰劣只字不提，其结果是量纲一致化的必要性被严重地淡化了，以致聚类分析里完全缺少判别分析那种将马氏距离作为距离判别唯一选项的明快。
何况，若记两个p 维样品],,[1'=p x x x 和],,[1'=p y y y 之间的欧氏距离为： )()()()()(),(2222211y x y x y x y x y x y x d p p -'-=-++-+-=
而相同的两个p 维样品之间的统计距离或马氏距离为：
)()(),(1y x S y x y x d -'-=-
其中S 为样本协方差矩阵，则正如Richard A.Johnson 和Dean W.Wichern 所说“但
是，没有关于不同类的先验知识。这些样本量就无法计算4。由于这个原因，在聚类
问题中更倾向于采用欧氏距离”5。也就是说，由于“类”在聚类开始的阶段尚不存在，类内的方差S 无从谈起，所以欧氏距离就替代了似乎更合理的统计距离或马氏距离。
被人们有意或许是不经意地被模糊两个关键特性之二，是几何距离中向量的各分量在笛卡尔坐标系里都是正交的，而样品距离中各变量间往往存在一定程度的相关，很多场合不能满足正交条件，伟大的费歇尔感觉到了这一点，在与聚类分析关联紧密的姊妹方法判别分析中提出了著名的费歇尔变换。费歇尔变换是一种正交变换，可以很好解决不同变量不正交的问题。可惜的是，我们后来者竟然都“灯下黑”，迄今并未有人尝试将此移植到聚类分析。当然有必要指出的是，即使移植了，量纲一致及可加性的要求并不能因此获得满足。
样品间距迄今存在的量纲不一致和变量不正交这两个固有缺陷，第一个缺陷量纲不一致无法真正消除，例如试图将血压与身高的量纲差异消除的努力在科学的范畴里恐怕永远不会成功。通过标准化进行矫正也许是人们能够想到的理想方法，只有规格化6可能与其相比。第二个缺陷变量不正交或变量间存在相关性，假如不考虑量纲不一致的影响，其实完全可以真正消除，而且矫正的手段非常简单：正交化。有些多元统计分析教科书非常重视变量不正交或变量相关性问题，并提供了马氏距离、斜交空间距离两种解决方法，但也未明确宣示正交化不可或缺的必要性。
本文的主旨在于研究两个个问题，一是从聚类分析结果(取决于样品间距)看，是否有必要进行正交化矫正？二是假如需要，那么应该如何进行正交化？
对于第一个问题，可以通过证伪的方法轻易得到解决。使用熟悉度很高的且各变量量纲可以看作相同的鸢尾花案例，按未正交化的一般方法计算150个样品距离
4
在现今的SPSS 里，聚类分析的样品距离模块里已经没有马氏距离的选项。 5 见Richard A.Johnson 和Dean W.Wichern 著，陆旋 叶俊译《实用多元统计分析》第6版，第525页，清华大学出版社
6 规格化的本质是消除各变量极差大小不同的影响。当变量间极差对标准差的倍数有很大差异时，标准化无法避免倍数大的变量成为控制变量的缺陷，这就如同在距离计算过程中某个变量数值过大将遮蔽其他变量的作用一样。此时规格化能够避免控制变量的产生。
阵，再按正交化的方法重新计算距离阵，比对两种结果。比对的具体做法是：（1）计算两种方法的距离之间的相关系数，假如不正交不影响样品间距的顺序和聚类分析结果，两者应该正相关，且斯皮尔曼相关系数r d 为1，因此1-r d 可以视为两者差异大小的一个量度。（2）按照矩阵先行后列的顺序得到样品间距的序号（称为自然序号7），将两种方法计算的样品间距按相同方向（降序或者升序）分别排序，比较两种方法排序后自然序号产生的改变之间的差异。如果不正交不影响样品间距的顺序和聚类分析结果，那么自然顺序的变化应该是完全一致的。（3）按照矩阵先行后列的顺序计算样品间距，将两种方法计算的样品间距的大小顺序进行比较。若不正交不影响样品间距的顺序和聚类分析结果，那么样品间距的大小顺序应该是一致的。例如，不正交计算的样品间距2,1d 大于3,1d ，若不正交不影响样品间距的顺序和聚类分析结果，那么正交化变换后的样品间距2,1d 也应该大于3,1d 。
正如我们所预期的，比对结果表明，不仅未正交化与正交化的两种样品间距自身的数值不同，而且样品间距的大小顺序也存在明显的差异。鉴于全部150个样品的样品间距阵的元素总数为149*75，过于冗长，既不容易突出问题也不便于表达，为此只随机选出10个样品的计算结果列在表2中，这样足以清晰地反映问题的实质所在。
表1 随机抽取的10个样品
编号 Sepal.Lengt h Sepal.Widt h
Petal.Length Petal.Width Species 9 4.4 2.9 1.4 0.2 setosa
6 5.4 3.9 1.
7 0.4 setosa
147 6.3 2.5 5 1.9 virginica
51 7 3.2 4.7 1.4 versicolor
137 6.3 3.4 5.6 2.4 virginica
48 4.6 3.2 1.4 0.2 setosa
145 6.7 3.3 5.7 2.5 virginica
132 7.9 3.8 6.4 2 virginica
144 6.8 3.2 5.9 2.3 virginica
31 4.8 3.1 1.6 0.2 setosa
表2 随机抽取的10个样品间距
样品间距的起点 样品间距的终点 原始数据计算的距离升序排序 正交后计算的距离升序排序 原始数据计算的距离 正交后计算的距离
1 2 14 20 1.46 2.78 1 3 29 26 4.43 3.23 1 4 27 25 4.38 3.23 1 5 36 39 5.13 3.79 1 6 3 6 0.36 0.80 1 7 39 41 5.41 3.98 1 8 45 45 6.43 5.03 1 9 41 40 5.52 3.90
7 若出现序号一致的情况，则按照行优先的方法对其赋予序号，避免按距离排序后序号可能出现“结”。
1 10 5 4 0.49 0.64
2 3 24 42 3.99 4.38
2 4 22 22 3.61 2.96
2 5 30 27 4.50 3.25
2 6 8 14 1.12 1.98
2 7 31 31 4.74 3.56
2 8 42 35 5.56 3.67
2 9 3
3 3
4 4.87 3.65
2 10 7 17 1.02 2.17
3 4 9 15 1.15 2.01
3 5 10 19 1.19 2.43
3 6 28 29 4.39 3.48
3 7 11 18 1.28 2.24
3 8 21 37 2.49 3.76
3 9 12 13 1.31 1.98
3 10 25 2
4 4.13 3.22
4 5 17 9 1.53 1.41
4 6 26 23 4.2
5 3.00
4 7 16 8 1.52 1.32
4 8 20 16 2.10 2.06
4 9 1
5 7 1.51 1.14
4 10 23 21 3.99 2.83
5 6 34 30 5.04 3.52
5 7 4 3 0.44 0.46
5 8 19 11 1.88 1.88
5 9
6 5 0.62 0.71
5 10 32 28 4.81 3.43
6 7 38 38 5.31 3.76
6 8 44 44 6.28 4.59
6 9 40 36 5.43 3.72
6 10 1 1 0.30 0.33
7 8 18 10 1.56 1.81
7 9 2 2 0.32 0.36
7 10 35 33 5.07 3.64
8 9 13 12 1.38 1.90
8 10 43 43 6.03 4.52
9 10 37 32 5.19 3.58
（1）依斯皮尔曼相关系数得到两者的套算差异率为9.53%；（2）按自然顺序的变动大小得到两者的差异率大约49%（逆序对在990个对中所占比例）；（3）按间距顺序变化情况衡量，45个间距中正交与否未产生影响的有8个，未正交排序后移的有23个，前移的有14个。两者存在明显差异以致顺序颠倒的也不鲜见，如表中带颜色3对6个样品即是如此。
尽管表中所展示的只是不正交与采用主成分法正交化的两者的样品间距顺序发
生变化的结果，但由于这种顺序变化必然导致聚类分析结果产生差异，所以进行正交化矫正完全是有必要的。
针对头盖骨数据8计算的（1）依斯皮尔曼相关系数得到两者的套算差异率为1.8%；（2）按自然顺序的变动大小得到两者的差异率大约96.98%；（3）按间距顺序变化情况衡量变化率为3%。很显然这一数据的样品与样品之间的距离在正交与否前后结果产生差异，也可以看出进行正交化矫正是完全有必要的。
那么应该如何进行正交化呢？关于正交化的实施途径有许多现成方案可供选择，最直接、最容易想到的两个正交化方法——主成分分析与格兰姆—施密特方法，前者是与聚类分析同属多元统计分析，后者是较少统计色彩可更具一般性。奇怪的是，这两种方法似乎在统计学家专家的视野里并不显眼或干脆熟视无睹。
主成分分析和施密特正交化方法都是人们所熟悉的，本文不拟赘述。可能有必要指出的一点是：虽然施密特正交化方法似乎因更具一般性而容易令人产生其统计色彩比较淡些的印象，从而会使人们忽视格兰姆——施密特正交化方法在统计分析中的作用9。格兰姆——施密特正交化方法不同于主成分的最重要的地方在于，主成分变换是粉碎性的，变换后原有变量几乎面目全非（除非再进行因子旋转），而格兰姆——施密特正交化方法是将原有变量中一个原封不动予以保留，以此作为变换的主轴。正如格兰姆——施密特正交化方法在统计学中受到忽视一样，这一点也是容易被视为当然如此而最终滑过人们的视野。其实，正是这微不足道的一点，在统计中可能甚为有用。例如可将某个最重要的变量作为主轴予以保留，这样至少可以部分达到因子旋转的目标，一定程度上减少主成分难以解释之弊。
以上几种方式都是普通的或成熟的正交化方法，不必怀疑是否能够达成我们的初衷，疑问也许在于，依据这几种方法计算的样品距离与马氏距离和斜交空间距离是否具有一致性，会不会因不具一致性导致据此进行的聚类结果也不一致？使用上面提到的两个案例，计算结果发现，格兰姆——施密特方法与主成分分析的结果完全一致，并无例外。这在理论上也是有根据的。对一个向量空间而言，标准正交基的变换相当于坐标轴的平移与旋转，平移对距离没有任何影响，而压缩与膨胀都是线性的和成比例的，会改变距离的大小而不会改变距离的顺序。
另外，格兰姆——施密特方法和主成分分析与马氏距离和斜交空间距离的结果（指距离的顺序）也是完全一致的。因而我们需要决定的是，究竟应优先考虑哪种方法为好？或者说各有千秋，只是场合不同？
单从公式或表达方式看，马氏距离最为简单，且与统计渊源最深，既然效果一样，似乎应优先选择，有些文献对马氏距离的指责系因马氏距离不具穿透性，即样品间距的结果无法用于样品与类之间的距离。斜交空间距离比马氏距离比较复杂，但具有所谓穿透性，即可兼顾样品间距与样品与类之间的距离。相比之下，格兰姆——施密特方法和主成分分析明显要复杂很多，看似必定出局。然而，公式或表达方式的复杂不等于计算复杂。事实上，格兰姆——施密特方法和主成分分析只是进行变量的正交化，并不直接涉及样品间距的计算。在其基础上的样品间距完全是独立进行的，允许多种选择。反观马氏距离和斜交空间距离，正交化与距离计算是融合进行的，总的计算量实际要大于施密特方法和主成分分析两种方法。因此，综合考虑聚类结果、总的计算量大小、统计学者的熟悉程度以及对样品与类之间距离的
8头盖骨数据来源于19世纪20年代Colonel Waddell搜集的西藏33个头盖骨数据，其中17个头盖骨是A型，16个头盖骨是B型。其中包括5个变量，分别为：头盖骨的最大长度，头盖骨的最大水平宽度，头盖骨的高度，最大的面度高度，面宽度，这一数据集可以看做是量纲一致。
9多元统计分析教科书在因子、主成分、判别和聚类等相关内容里几乎完全不曾提及格兰姆—施密特正交化方法，只是在预备知识介绍中聊备一格。
潜在影响，主成分分析是应该优先选择的。也就是说，正交化在程序中宜作为必选项而非普通备选项，而主成分分析应作为正交化的缺省设置。
不选择马氏距离或统计距离作为样品间距标准方法的理由还在于其为样品到类之间距离的广义距离构成中的一项，而这一项的协差阵是各类的而非总体的，换言之，如此要涉及两种意义不同的马氏距离计算，容易混淆，且实际计算量会增大。斜交空间距离与此相类似，无法避免广义距离计算中要重新计算马氏距离的浪费现象。与此相对照的是主成分分析，由于变量已经正交，各类马氏距离的计算过程变得非常简单，且不存在混淆的可能，当然应被视为最佳选择。格兰姆——施密特方法与主成分分析十分相似，唯一不足是与统计学的渊源不够。
尽管上述对于标准化或规格化以及正交化的讨论对于正确理解与应用聚类分析是有益的，然而我们必须指出，在相关领域，至少还有以下问题尚未解决：
1.标准化或规格化使量纲一致化，只是在数学层面或形式上解决了问题，但无
法使问题的实质有任何改变：一个随机变量标准化后的量纲实际上是该随机
变量的标准差，不同随机变量标准化后的量纲只是形式上的相同，并非实质
上的一样10。
2.主成分分析是在样本基础上进行的，如何解决其统计显著性问题？
笔者认为，这些问题的解决也有助于改进聚类分析效果，并使聚类分析具有浓郁的统计学特色。
参考文献
[1]Anderson, E. “The Irises of the GaspéPeninsula.”Bulletin of the American Iris Socity,59(1939),2-5.
[2]Efron, B. “The Efficiency of Logistic Regression Compared to Normal Discriminant Analysis.” Journal of the American Statistical Association, 81(1975), 321-327.
[3]Lachenbruch, P.A. Discriminant Analysis. New York: Hafner Press, 1975.
[4]Ganesalingam, S. “Classification and Mixture Approaches to Clustering via Maximum Likelihood.” Applied Statistics, 38, no.3(1989), 455-466.
10血压与心跳次数量纲固然不同，但血压标准差的倍数与心跳次数标准差的倍数实质上的差异仍很明显。
第五章 聚类分析 5.1 判别分析和聚类分析有何区别？ 答：即根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n 个样本，对每个样本测得p 项指标（变量）的数据，已知每个样本属于k 个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。 5.2 试述系统聚类的基本思想。 答：系统聚类的基本思想是：距离相近的样品（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。 5.3 对样品和变量进行聚类分析时， 所构造的统计量分别是什么？简要说明为什么这样构造？ 答：对样品进行聚类分析时，用距离来测定样品之间的相似程度。因为我们把n 个样本看作p 维空间的n 个点。点之间的距离即可代表样品间的相似度。常用的距离为 （一）闵可夫斯基距离：1/1 ()() p q q ij ik jk k d q X X ==-∑ q 取不同值，分为 （1）绝对距离（1q =） 1 (1)p ij ik jk k d X X ==-∑ （2）欧氏距离（2q =） 21/2 1 (2)() p i j i k j k k d X X ==-∑ （3）切比雪夫距离（q =∞） 1()max ij ik jk k p d X X ≤≤∞=- （二）马氏距离 （三）兰氏距离 对变量的相似性，我们更多地要了解变量的变化趋势或变化方向，因此用相关性进行衡量。 2 1()()()ij i j i j d M -'=--X X ΣX X 11()p ik jk ij k ik jk X X d L p X X =-=+∑
最短距离聚类的matlab实现-1 【2013-5-21更新】 说明：正文中命令部分可以直接在Matlab中运行， 作者(Yangfd09)于2013-5-21 19:15:50在MATLAB R2009a(7.8.0.347)中运行通过 %最短距离聚类（含距离计算，含聚类图） %说明：此程序的优点在于每一步都是自己编写的，很少用matlab现成的指令， %所以更适合于初学者，有助于理解各种标准化方法和距离计算方法。 %程序包含了极差标准化（两种方法）、中心化、标准差标准化、总和标准化和极大值标准化等标准化方法， %以及绝对值距离、欧氏距离、明科夫斯基距离和切比雪夫距离等距离计算方法。 %==========================>>导入数据<<============================== %变量名为test（新建一个以test变量，双击进入Variable Editor界面，将数据复制进去即可）%数据要求：m行n列，m为要素个数，n为区域个数（待聚类变量）。 % 具体参见末页测试数据。 testdata=test; %============================>>标准化<<=============================== %变量初始化，m用来寻找每行的最大值，n找最小值，s记录每行数据的和 [M,N]=size(testdata);m=zeros(1,M);n=9999*ones(1,M);s=zeros(1,M);eq=zeros(1,M); %为m、n和s赋值 for i=1:M for j=1:N if testdata(i,j)>=m(i) m(i)=testdata(i,j); end if testdata(i,j)<=n(i) n(i)=testdata(i,j); end s(i)=s(i)+testdata(i,j); end eq(i)=s(i)/N; end %sigma0是离差平方和，sigma是标准差 sigma0=zeros(M); for i=1:M for j=1:N sigma0(i)=sigma0(i)+(testdata(i,j)-eq(i))^2; end end sigma=sqrt(sigma0/N);
成绩：______ 题目 节理产状的动态聚类分析以及最大距 离法统计方法的研究 专业：构造地质学 _________ 姓名： ____________________________ 学号： ___________________________ 班级： ______________________________
节理产状的动态聚类分析以及最大距离法 统计方法的研究 摘要：裂隙岩体内的节理往往是变化的，有时甚至变化很大。测得大量节理产状以后，对其分组是一项基础性的工作，但是如何分组目前还没有很好的理论和方法。采用动态聚类分析的方法，将节理产状的样本数据划分为不同的簇，通过不同簇的概率模型计算及其簇心的分布特性比较说明了簇数分类的适度性。形成了解决这类问题的系统实用的方法。又提出了一种合理、科学和简便的节理统计方法——最大距离法。其主要思路是对野外采集的节理产状数据做最优分组, 使组间距离最大,而组内距离最小。该方法逻辑简单、明了,操作过程简便,而且能有效地剔除原始数据中误差较大的数据,结果精确。通过应用,表明该统计方法正确、可靠。 关键词：节理产状；聚类分析；最大距离方法；地质统计。 1 引言 岩体中的节理裂隙系统往往由几个产状不同的节理组合成的，在野外测得的节理的倾向和倾角一般而言都是变化的，有的甚至变化很大，在测得大量节理的产状后，对大量的数据进行分组或分类是一项基础性的工作。在实际的工程中，有关学者用统计学的方法对岩石裂隙岩体围岩分类、岩体裂化程度、岩体裂隙分形技术及岩体裂隙的几何参数概率模型进行了研究，本文不考虑地理空间的相关性，将样本数据看作是相互独立的，用统计学中k 均值聚类分析的方法对节理分组。 聚类分析是统计学上研究分类问题的一种方法，它的任务是把所有的样本数据分配到若干的簇，使得同一个簇的样本数据聚集在簇中心的周围，它们之间距离比较近，而不同簇样本数据之间的距离比较远。但如何评判节理的分组是否合理？评判的依据又是如何？目前还没有很好的理论和方法。本文的目的就是结合工程意义，用k均值聚类分析的方法，将节理产状的样本数据划分为不同的组。用系统聚类法聚类，样品一旦划到某个类以后就不变了，这要求分类的方法比较准确，另一方面系统聚类法要存贮距离矩阵，尤其当研究的样品较多时，需占用很多的存贮单元，计算方法中的迭代法德思想给
空间聚类的研究现状及其应用＊ 戴晓燕1 过仲阳1 李勤奋2 吴健平1 (1华东师范大学教育部地球信息科学实验室 上海 200062) (2上海市地质调查研究院 上海 200072) 摘 要 作为空间数据挖掘的一种重要手段,空间聚类目前已在许多领域得到了应用。文章在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 关键词 空间聚类 K-均值法 散度 1 前言 随着GPS、GI S和遥感技术的应用和发展,大量的与空间有关的数据正在快速增长。然而,尽管数据库技术可以实现对空间数据的输入、编辑、统计分析以及查询处理,但是无法发现隐藏在这些大型数据库中有价值的模式和模型。而空间数据挖掘可以提取空间数据库中隐含的知识、空间关系或其他有意义的模式等[1]。这些模式的挖掘主要包括特征规则、差异规则、关联规则、分类规则及聚类规则等,特别是聚类规则,在空间数据的特征提取中起到了极其重要的作用。 空间聚类是指将数据对象集分组成为由类似的对象组成的簇,这样在同一簇中的对象之间具有较高的相似度,而不同簇中的对象差别较大,即相异度较大。作为一种非监督学习方法,空间聚类不依赖于预先定义的类和带类标号的训练实例。由于空间数据库中包含了大量与空间有关的数据,这些数据来自不同的应用领域。例如,土地利用、居住类型的空间分布、商业区位分布等。因此,根据数据库中的数据,运用空间聚类来提取不同领域的分布特征,是空间数据挖掘的一个重要部分。 空间聚类方法通常可以分为四大类:划分法、层次法、基于密度的方法和基于网格的方法。算法的选择取决于应用目的,例如商业区位分析要求距离总和最小,通常用K-均值法或K-中心点法;而对于栅格数据分析和图像识别,基于密度的算法更合适。此外,算法的速度、聚类质量以及数据的特征,包括数据的维数、噪声的数量等因素都影响到算法的选择[2]。 本文在对已有空间聚类分析方法概括和总结的基础上,结合国家卫星气象中心高分辨率有限区域分析预报系统产品中的数值格点预报(HLAFS)值,运用K-均值法对影响青藏高原上中尺度对流系统(MCS)移动的散度场进行了研究,得到了一些有意义的结论。 2 划分法 设在d维空间中,给定n个数据对象的集合D 和参数K,运用划分法进行聚类时,首先将数据对象分成K个簇,使得每个对象对于簇中心或簇分布的偏离总和最小[2]。聚类过程中,通常用相似度函数来计算某个点的偏离。常用的划分方法有K-均值(K-means)法和K-中心(K-medoids)法,但它们仅适合中、小型数据库的情形。为了获取大型数据库中数据的聚类体,人们对上述方法进行了改进,提出了K-原型法(K-prototypes method)、期望最大法EM(Expectation Maximization)、基于随机搜索的方法(ClAR ANS)等。 K-均值法[3]根据簇中数据对象的平均值来计算 ——————————————— ＊基金项目:国家自然科学基金资助。(资助号: 40371080) 收稿日期:2003-7-11 第一作者简介:戴晓燕,女,1979年生,华东师范大学 地理系硕士研究生,主要从事空间数 据挖掘的研究。 · 41 · 2003年第4期 上海地质 Shanghai Geology
第三章 聚类分析 一、填空题 1.在进行聚类分析时，根据变量取值的不同，变量特性的测量尺度有以下三种类型： 间隔尺度 、 顺序尺度 和 名义尺度 。 2．Q 型聚类法是按___样品___进行聚类，R 型聚类法是按_变量___进行聚类。 3．Q 型聚类统计量是____距离_，而R 型聚类统计量通常采用_相似系数____。 4．在聚类分析中，为了使不同量纲、不同取值范围的数据能够放在一起进行比较，通常需要对原始数据进行变换处理。常用的变换方法有以下几种：__中心化变换_____、__标准化变换____、____规格化变换__、__ 对数变换 _。 5．距离ij d 一般应满足以下四个条件：对于一切的i,j ，有0≥ij d 、 j i =时，有0=ij d 、对于一切的i,j ，有ji ij d d =、对于一切的i,j,k ，有kj ik ij d d d +≤。 6.相似系数一般应满足的条件为： 若变量i x 与 j x 成比例，则1±=ij C 、 对一 1≤ij 和 对一切的i,j ，有ji ij C C =。 7.常用的相似系数有 夹角余弦 和 相关系数 两种。 8.常用的系统聚类方法主要有以下八种： 最短距离法 、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法、离差平方和法。 9．快速聚类在SPSS 中由__K-mean_____________过程实现。 10.常用的明氏距离公式为：()q p k q jk ik ij x x q d 11?? ????-=∑=，当1=q 时，它表示 绝 对距离 ；当2=q 时，它表示 欧氏距离 ；当q 趋于无穷时，它表示 切比雪夫距离 。 11．聚类分析是将一批 样品 或 变量 ，按照它们在性质上 的 亲疏、相似程度 进行分类。 12．明氏距离的缺点主要表现在两个方面：第一 明氏距离的值与各指标的量纲有关 ，第二 明氏距离没有考虑到各个指标（变量）之间的相关性 。 13．马氏距离又称为广义的 欧氏距离 。 14，设总体G 为p 维总体，均值向量为()'p μμμμ，， ，＝ 21，协差阵为∑，则样品()'=p X X X X ,,,21 与总体G 的马氏距离定义为 ()()()μμ-∑'-=-X X G X d 12,。 15．使用离差平方和法聚类时，计算样品间的距离必须采用 欧氏距离 。 16．在SPSS 中，系统默认定系统聚类方法是 类平均法 。 17．在系统聚类方法中， 中间距离法和 重心法 不具有单调性。 18．离差平方和法的基本思想来源于 方差分析 。 19．最优分割法的基本步骤主要有三个：第一，定义类的直径 ；第二， 定义目标函数 ；第三， 求最优分割 。 20．最优分割法的基本思想是基于 方差分析的思想 。 二、判断题 1.在对数据行进中心化变换之后，数据的均值为0，而协差阵不变，且变换后后的数据与变量的量纲无关。 （ ） 2．根据分类的原理，我们可以把聚类分为样品聚类和变量聚类。 （ ）
5.2酿酒葡萄的等级划分 5.2.1葡萄酒的质量分类 由问题1中我们得知，第二组评酒员的的评价结果更为可信，所以我们通过第二组评酒员对于酒的评分做出处理。我们通过excel计算出每位评酒员对每支酒的总分，然后计算出每支酒的10个分数的平均值，作为总的对于这支酒的等级评价。 通过国际酿酒工会对于葡萄酒的分级，以百分制标准评级，总共评出了六个级别（见表5）。 在问题2的计算中，我们求出了各支酒的分数，考虑到所有分数在区间[61.6，81.5]波动，以原等级表分级，结果将会很模糊，不能分得比较清晰。为此我们需要进一步细化等级。为此我们重新细化出5个等级，为了方便计算，我们还对等级进行降序数字等级（见表6）。 通过对数据的预处理，我们得到了一个新的关于葡萄酒的分级表格（见表7）：
考虑到葡萄酒的质量与酿酒葡萄间有比较之间的关系，我们将保留葡萄酒质量对于酿酒葡萄的影响，先单纯从酿酒葡萄的理化指标对酿酒葡萄进行分类，然后在通过葡萄酒质量对酿酒葡萄质量的优劣进一步进行划分。 5.2.2建立模型 在通过酿酒葡萄的理化指标对酿酒葡萄分类的过程，我们用到了聚类分析方法中的ward 最小方差法，又叫做离差平方和法。 聚类分析是研究分类问题的一种多元统计方法。所谓类，通俗地说，就是指相似元素的集合。为了将样品进行分类，就需要研究样品之间关系。这里的最小方差法的基本思想就是将一个样品看作P 维空间的一个点，并在空间的定义距离，距离较近的点归为一类；距离较远的点归为不同的类。面对现在的问题，我们不知道元素的分类，连要分成几类都不知道。现在我们将用SAS 系统里面的stepdisc 和cluster 过程完成判别分析和聚类分析，最终确定元素对象的分类问题。 建立数据阵，具体数学表示为： 1111...............m n nm X X X X X ????=?????? （5.2.1） 式中，行向量1(,...,)i i im X x x =表示第i 个样品； 列向量1(,...,)'j j nj X x x =’，表示第j 项指标。(i=1,2,…,n;j=1,2,…m) 接下来我们将要对数据进行变化，以便于我们比较和消除纲量。在此我们用了使用最广范的方法，ward 最小方差法。其中用到了类间距离来进行比较，定义为： 2||||/(1/1/)kl k l k l D X X n n =-+ （5.2.2） Ward 方法并类时总是使得并类导致的类内离差平方和增量最小。 系统聚类数的确定。在聚类分析中，系统聚类最终得到的一个聚类树，如何确定类的个数，这是一个十分困难但又必须解决的问题；因为分类本身就没有一定标准，人们可以从不同的角度给出不同的分类。在实际应用中常使用下面几种
肤色在各颜色空间的聚类分析 摘要肤色是人体表面最显著的特征之一。对不同肤色在RGB、YCbCr颜色空间内和同一肤色在不同亮度环境下的聚类情况进行深入的分析研究,发现肤色在YCbCr空间内聚类效果更好,更适合做肤色分割。然后在此基础上对黑色肤色、黄色肤色及白色肤色在YCbCr空间内进行肤色分割,达到较好的分割效果。 关键词肤色;颜色空间;肤色分割;YCbCr空间 肤色是人体表面最显著的特征之一,由于它对姿势、旋转、表情等变化不敏感,因此将人体的肤色特征应用于人脸检测与识别、表情识别、手势识别具有很大的优势,所以肤色特征是人脸识别、表情识别、与手势识别中最为常用的分割方法。然而,若要利用肤色进行分割,我们首先应该对肤色以及肤色的聚类情况进行分析。 世界上的人种主要有三种,即尼格罗—澳大利亚人种(黑色皮肤),蒙古人种(黄色皮肤),欧罗巴人种(白色皮肤)。尽管人的肤色因人种的不同而不同,呈现出不同的颜色,但是有学者指出:排除亮度、周围环境等对肤色的影响后,皮肤的色调基本一致。本文对在不同环境下的不同肤色进行取样,然后分别在RGB、YCbCr颜色空间进行统计,从而对比分析肤色在各颜色空间聚类的情况。 1肤色在各颜色空间的聚类比较 1.1不同肤色在RGB和YCbCr颜色空间上的分布 图1—图2给出了黄色、黑色和白色肤色分别在RGB、YCbcr空间的分布情况。 由图1—图2可以得出,不同肤色在RGB、YCbCr空间的分布有如下特征: 1)不同肤色在不同颜色空间均分布在很小的范围内。 2)不同肤色在不同颜色空间内不是随机分布,而是在某固定区域呈聚类分布。 3)不同肤色在YCbCr空间内分布的聚类状态要好于在RGB空间内分布的聚类状态。 4)不同肤色在亮度上的差异远远高于在色度上的差异。 1.2肤色在不同亮度下的分布 图3—图4给出了不同亮度下的同一肤色分别在RGB、YCbCr空间的分布情况。图(a)至图(d)的肤色来源于同一人在不同亮度下的照片。
第三章 聚类分析 一、填空题 1.在进行聚类分析时，根据变量取值的不同，变量特性的测量尺度有以下三种类型： 间隔尺度 、 顺序尺度 和 名义尺度 。 2．Q 型聚类法是按___样品___进行聚类，R 型聚类法是按_变量___进行聚类。 3．Q 型聚类统计量是____距离_，而R 型聚类统计量通常采用_相似系数____。 4．在聚类分析中，为了使不同量纲、不同取值范围的数据能够放在一起进行比较，通常需要对原始数据进行变换处理。常用的变换方法有以下几种：__中心化变换_____、__标准化变换____、____规格化变换__、__ 对数变换 _。 5．距离ij d 一般应满足以下四个条件：对于一切的i,j ，有0≥ij d 、 j i =时，有 0=ij d 、对于一切的i,j ，有ji ij d d =、对于一切的i,j,k ，有kj ik ij d d d +≤。 6.相似系数一般应满足的条件为： 若变量i x 与 j x 成比例，则1±=ij C 、 对一 1≤ij 和 对一切的i,j ，有ji ij C C =。 7.常用的相似系数有 夹角余弦 和 相关系数 两种。 8.常用的系统聚类方法主要有以下八种： 最短距离法 、最长距离法、中间距离法、重心法、类平均法、可变类平均法、可变法、离差平方和法。 @ 9．快速聚类在SPSS 中由__K-mean_____________过程实现。 10.常用的明氏距离公式为：()q p k q jk ik ij x x q d 11?? ????-=∑=，当1=q 时，它表示 绝 对距离 ；当2=q 时，它表示 欧氏距离 ；当q 趋于无穷时，它表示 切比雪夫距离 。 11．聚类分析是将一批 样品 或 变量 ，按照它们在性质上 的 亲疏、相似程度 进行分类。 12．明氏距离的缺点主要表现在两个方面：第一 明氏距离的值与各指标的量纲有关 ，第二 明氏距离没有考虑到各个指标（变量）之间的相关性 。 13．马氏距离又称为广义的 欧氏距离 。 14，设总体G 为p 维总体，均值向量为()' p μμμμ，， ，＝ 21，协差阵为∑，则样品()' =p X X X X ,,,21 与总体G 的马氏距离定义为 ()()()μμ-∑' -=-X X G X d 12,。 15．使用离差平方和法聚类时，计算样品间的距离必须采用 欧氏距离 。 16．在SPSS 中，系统默认定系统聚类方法是 类平均法 。 17．在系统聚类方法中， 中间距离法和 重心法 不具有单调性。 18．离差平方和法的基本思想来源于 方差分析 。 , 19．最优分割法的基本步骤主要有三个：第一，定义类的直径 ；第二， 定义目标函数 ；第三， 求最优分割 。 20．最优分割法的基本思想是基于 方差分析的思想 。 二、判断题 1.在对数据行进中心化变换之后，数据的均值为0，而协差阵不变，且变换后后的数据与变量的量纲无关。 （ ）
k-means聚类”——数据分析、数据挖掘 一、概要 分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的要求，则代价非常大，这时候可以考虑使用聚类算法。聚类属于无监督学习，相比于分类，聚类不依赖预定义的类和类标号的训练实例。本文介绍一种常见的聚类算法——k 均值和k 中心点聚类，最后会举一个实例：应用聚类方法试图解决一个在体育界大家颇具争议的问题——中国男足近几年在亚洲到底处于几流水平。 二、聚类问题 所谓聚类问题，就是给定一个元素集合D，其中每个元素具有n 个可观察属性，使用某种算法将D 划分成k 个子集，要求每个子集内部的元素之间相异度尽可能低，而不同子集的元素相异度尽可能高。其中每个子集叫做一个簇。 与分类不同，分类是示例式学习，要求分类前明确各个类别，并断言每个元素映射到一个类别，而聚类是观察式学习，在聚类前可以不知道类别甚至不给定类别数量，是无监督学习的一种。目前聚类广泛应用于统计学、生物学、数据库技术和市场营销等领域，相应的算法也非常的多。本文仅介绍一种最简单的聚类算法——k 均值（k-means）算法。 三、概念介绍 区分两个概念： hard clustering：一个文档要么属于类w，要么不属于类w，即文档对确定的类w是二值的1或0。
soft clustering：一个文档可以属于类w1，同时也可以属于w2，而且文档属于一个类的值不是0或1，可以是这样的小数。 K-Means就是一种hard clustering，所谓K-means里的K就是我们要事先指定分类的个数，即K个。 k-means算法的流程如下： 1）从N个文档随机选取K个文档作为初始质心 2）对剩余的每个文档测量其到每个质心的距离，并把它归到最近的质心的类 3）重新计算已经得到的各个类的质心 4）迭代2～3步直至满足既定的条件，算法结束 在K－means算法里所有的文档都必须向量化，n个文档的质心可以认为是这n 个向量的中心，计算方法如下： 这里加入一个方差RSS的概念： RSSk的值是类k中每个文档到质心的距离，RSS是所有k个类的RSS值的和。 算法结束条件： 1）给定一个迭代次数，达到这个次数就停止，这好像不是一个好建议。
系统聚类分析方法 聚类分析是研究多要素事物分类问题的数量方法。基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。 常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。 1. 聚类要素的数据处理 假设有m 个聚类的对象，每一个聚类对象都有个要素构成。它们所对应的要素数据可用表3.4.1给出。（点击显示该表）在聚类分析中，常用的聚类要素的数据处理方法有如下几种。 ①总和标准化 ②标准差标准化
③极大值标准化 经过这种标准化所得的新数据，各要素的极大值为1，其余各数值小于1。 ④极差的标准化 经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0与1之间。 2. 距离的计算 距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。 ①绝对值距离
选择不同的距离，聚类结果会有所差异。在地理分区和分类研究中，往往采用几种距离进行计算、对比，选择一种较为合适的距离进行聚类。
例：表3.4.2给出了某地区九个农业区的七项指标，它们经过极差标准化处理后，如表3.4.3所示。 对于表3.4.3中的数据，用绝对值距离公式计算可得九个农业区之间的绝对值距离矩阵：
3. 直接聚类法 直接聚类法是根据距离矩阵的结构一次并类得到结果。 ▲ 基本步骤： ①把各个分类对象单独视为一类； ②根据距离最小的原则，依次选出一对分类对象，并成新类；③如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类；每一次归并，都划去该对象所在的列与列序相同的行；④那么，经过m-1次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。 ★直接聚类法虽然简便，但在归并过程中是划去行和列的，因而难免有信息损失。因此，直接聚类法并不是最好的系统聚类方法。 [举例说明]（点击打开新窗口，显示该内容） 例：已知九个农业区之间的绝对值距离矩阵，使用直接聚类法做聚类分析。 解： 根据上面的距离矩阵，用直接聚类法聚类分析：
一篇文章透彻解读聚类分析及案例实操 【数盟致力于成为最卓越的数据科学社区，聚焦于大数据、分析挖掘、数据可视化领域，业务范围：线下活动、在线课程、猎头服务、项目对接】【限时优惠福利】数据定义 未来，2016年5月12日-14日DTCC2016中国数据库技术大会登陆北京！大会云集了国内外数据行业顶尖专家，设定2个主会场，24个分会场，将吸引共3000多名IT人士参会！马上领取数盟专属购票优惠88折上折，猛戳文末“阅读原文”抢先购票！ 摘要：本文主要是介绍一下SAS的聚类案例，希望大家都 动手做一遍，很多问题只有在亲自动手的过程中才会有发现有收获有心得。这里重点拿常见的工具SAS+R语言+Python 介绍! 1 聚类分析介绍1.1 基本概念聚类就是一种寻找数据之间 一种内在结构的技术。聚类把全体数据实例组织成一些相似组，而这些相似组被称作聚类。处于相同聚类中的数据实例彼此相同，处于不同聚类中的实例彼此不同。聚类技术通常又被称为无监督学习，因为与监督学习不同，在聚类中那些表示数据类别的分类或者分组信息是没有的。通过上述表述，我们可以把聚类定义为将数据集中在某些方面具有相似性 的数据成员进行分类组织的过程。因此，聚类就是一些数据
实例的集合，这个集合中的元素彼此相似，但是它们都与其他聚类中的元素不同。在聚类的相关文献中，一个数据实例有时又被称为对象，因为现实世界中的一个对象可以用数据实例来描述。同时，它有时也被称作数据点(Data Point)，因为我们可以用r 维空间的一个点来表示数据实例，其中r 表示数据的属性个数。下图显示了一个二维数据集聚类过程，从该图中可以清楚地看到数据聚类过程。虽然通过目测可以十分清晰地发现隐藏在二维或者三维的数据集中的聚类，但是随着数据集维数的不断增加，就很难通过目测来观察甚至是不可能。 1.2 算法概述 目前在存在大量的聚类算法，算法的选择取决于数据的类型、聚类的目的和具体应用。大体上，主要的聚类算法分为几大类。 聚类算法的目的是将数据对象自动的归入到相应的有意义 的聚类中。追求较高的类内相似度和较低的类间相似度是聚类算法的指导原则。一个聚类算法的优劣可以从以下几个方面来衡量： (1)可伸缩性：好的聚类算法可以处理包含大到几百万个对象的数据集;(2)处理不同类型属性的能力：许多算法是针对基 于区间的数值属性而设计的，但是有些应用需要针对其它数据类型(如符号类型、二值类型等)进行处理;(3)发现任意形状
刘向民物流工程 S11085240007 聚类分析方法应用举例 多元统计,就是研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学科。多元统计所包括的内容很多、但在实际统计分析中,聚类分析就是应用最广泛的方法之一。聚类分析(cluste:Analysis),就是研究分类问题的一种多元统计分析方法社会经济统计的分类问题,过去在传统方法上,主要就是结合一定的专业知识进行定性分类处理。由于定性分类主要就是靠经验完成,因而其结论难免带有较多的主观性与随意性,故不能很好地揭示客观事物内在的本质差别与联系。而聚类分析能带来定量上的分析可以解决这个问题,下面通过一些实例来描述聚类分析方法在应用上的体现; 1 基于聚类分析的安徽省物流需求研究 选取了分行业统计的年产值类指标构建物流需求指标体系(X组),具体指标包括:农业总产值(万元)(X1)、工业总产值(亿元)(X2)、建筑业总产值(万元)(X3)、社会消费零售总额(万元)(X4)、亿元商品市场成交额(万元)(X5)、进出口总额(万美元)(X6)。该指标体系通过农业、工业、建筑业、批发业、零售业及国际贸易的发生额较全面地反映了地区的物流需求情况。 2 研究方法 分类问题一般的解决法就是聚类分析或者因子分析基础上的聚类分析。由于本文最终期望得安徽省地级市物流需求分类情况,无需了解各个指标体系的内在系统结构,故选择聚类分析方法更简明。进行聚类分析时,本文采用的就是基于样本聚类的Q型系统聚类方法。 3研究过程与结果 3、1地区物流需求指标的聚类分析 由分析软件输出的聚类过程统计量如表1所示。可以瞧出,伪F统计量在归为4类及7类时较大,说明归为4类及7类时较好;伪T2统计量在1类、2类、3类时较大,由于伪T2大说明
标准化与正交化是聚类分析的必选项 杜子芳1 摘要 聚类分析是三大多元统计分析方法之一，在许多领域都有广泛的应用，特别是在模式识别或无学习分类领域，发挥着不可替代的作用。除谱系聚类的ward 方法外，聚类分析的关键依据是样品间距。样品间距完全脱胎于几何中的距离概念，但样品间距在几何距离三角可加性里所隐含的各变量量纲必须一致且必须正交的两个关键特性或许是有意或许是不经意地被模糊了。本文的结论是各变量量纲一致且正交应是聚类分析的强制要求，而主成分分析是正交化的最佳手段，应该成为聚类分析程序相关模块的缺省设置或唯一选项。 聚类分析是三大多元统计分析方法之一，在许多领域都有广泛的应用，特别是在模式识别或无学习分类领域，发挥着不可替代的作用。聚类分析不仅表现活跃，而且分支众多。首先有样品聚类与变量聚类之分，其中样品聚类又有面向大样本量情形的快速聚类与面向样本量不大情形的常规聚类两个分支。对于这其中的常规聚类，还可细分为有序样品聚类与非有序样品聚类，而对于非有序样品聚类，有聚类类数由少而多的分解法与由多而少的归并法的区别。归并法最为常用，也称谱系聚类。 聚类家族人丁兴旺，其共同的基因可以归纳为两个：一是“模型”限于处理数值型变量尤其是非离散变量；二是“模型”的基础除变量聚类少数场合外其余概为距离计算。不妨回顾一下聚类分析的过程与细节，容易知道无论是谱系聚类还是快速聚类，任何场合的距离计算不外乎三种：样品之间的距离、样品到类的距离以及类与类之间的距离。而这些计算的唯一依据是样品之间的距离，简称样品间距，只有谱系聚类的ward 方法例外。 距离首先是一个几何概念，其中最为人熟悉的是二维和三维几何空间的欧几里德距离。在其后的发展中，距离在维数、幂次数等方面被推广2了，距离被抽象为满足下列性质的一个函数族：（1）非负性，（2）对称性，（3）三角可加性。 值得提醒人们特别关注的是，三角可加性虽然是一种特殊的可加性，但毕竟还是可加性，而可加性意味着几何距离中向量的各分量量纲必须一致；至于可加性前面要加上“三角”做修饰，则意味着几何距离中向量的各分量在笛卡尔坐标系里必须正交。这是几何距离定义中所隐含的两个重要特性。 样品间距完全脱胎于几何中的距离概念，这是毋庸置疑的。但样品间距在几何距离隐含的上述两个关键特性上或许是被人们有意或许是不经意地被模糊3了。假如询问学过回归分析的学生，需要进行多重共线性的诊断吗？回答“是的”几乎会百分之百。而假如询问学过聚类分析的学生，聚类分析需要进行量纲不一致和变量不正交的诊断吗？回答是的恐属凤毛麟角。还有一个明证是聚类分析程序中既无量纲 1 中国人民大学统计学院教授 2 最典型的代表是明氏距离：闵斯科斯基（Minkowski ）距离q t q jt it ij x x d /1P 1]||[∑=-= 3 虽然在有些多元统计教科书里也提及这两点，但一来多以某种距离定义如明氏距离存在这样的缺陷的方式提到，二来并不断言必须克服这一缺陷，因而提供一套标准的处理程序，成为聚类分析的必选设置。这个事实本身似乎并不令人意外。对数学家而言，分量正交是当然的，何必刻意要提？对生物、医学、统计学等领域的专家而言，要么没有意识到，要么认为距离计算需要的前提不满足干系不大。
聚类分析作业 例题: country populatn density urban religion lifeexpf lifeexpm literacy pop_incr Afghanistan 20,500 25、0 18 Muslim 44 45 29 2、8 Bangladesh 125,000 800、0 16 Muslim 53 53 35 2、4 Cambodia 10,000 55、0 12 Buddhist 52 50 35 2、9 China 1,205,200 124、0 26 Taoist 69 67 78 1、1 HongKong 5,800 5,494、0 94 Buddhist 80 75 77 -0、1 India 911,600 283、0 26 Hindu 59 58 52 1、9 Indonesia 199,700 102、0 29 Muslim 65 61 77 1、6 Japan 125,500 330、0 77 Buddhist 82 76 99 0、3 Malaysia 19,500 58、0 43 Muslim 72 66 78 2、3 N、Korea 23,100 189、0 60 Buddhist 73 67 99 1、8 Pakistan 128,100 143、0 32 Muslim 58 57 35 2、8 Philippines 69,800 221、0 43 Catholic 68 63 90 1、9 S、Korea 45,000 447、0 72 Protstnt 74 68 96 1、0 Singapore 2,900 4,456、0 100 Taoist 79 73 88 1、2 Taiwan 20,944 582、0 71 Buddhist 78 72 91 0、9 Thailand 59,400 115、0 22 Buddhist 72 65 93 1、4 Vietnam 73,100 218、0 20 Buddhist 68 63 88 1、8 进行聚类分析,步骤如下: 1、标准化的欧式距离聚类 各类所属 得出以上结果,以欧氏距离为计算距离方法,把以上17个亚洲国家地区按6个变量欧氏距离划分为三类。 第一类为:Bangladesh 第二类为:China 第三类为:Malaysia 2、尝试其她类间距离方法
由最短距离法设行和列分别为G1-G9 C1 C2 C3 C4 C5 C6 C7 C8 C9 第一步，在9×9阶距离矩阵中，非对角元素中最小者是d87=88，故首先将第8个城市与第7个城市并为一类，记为C10，即C10=｛C7，C8｝.按照公式计算C1、C2、C3、C4、C5、C6、C9与C10之间的距离得： d1，10=min｛d17，d18｝=min｛498，586｝=498 d2，10=min｛d27，d28｝=min｛611，699｝=611 d3，10=min｛d37，d38｝=min｛618，706｝=618 d4，10=min｛d47，d48｝=min｛380，486｝=380 d5，10=min｛d57，d58｝=min｛392，480｝=392 d6，10=min｛d67，d68｝=min｛286，374｝=286 d9，10=min｛d97，d98｝=min｛240，328｝=240 这样就得到C1、C2、C3、C4、C5、C6、C9、C10上的一个新的8×8阶距离矩阵： C1 C2 C3 C4 C5 C6 C9 C10 第二步，在上一步骤中所得到的8×8阶距离矩阵中，非对角元素中最小者为d54=d64=94，故将C4、C5与C6归并为一类，按公式计算C1、C2、C3、C9、C10与C11之间的距离，可得到一个新的6×6阶距离矩阵： C1 C2 C3 C9 C10 C11 第三步，在第二步所得到的6×6阶距离矩阵中，非对角元素最小者为d11，1=106，故将C1与C11归为一类，在按照公式计算C2、C3、C9、C10与C12之间的距离，可得到一个新的5×5阶距离矩阵： C2 C3 C9 C10 C12
空间聚类概念 空间聚类作为聚类分析的一个研究方向，是指将空间数据集中的对象分成由相似对象组成的类。同类中的对象间具有较高的相似度，而不同类中的对象间差异较大。作为一种无监督的学习方法，空间聚类不需要任何先验知识，比如预先定义的类或带类的标号等。由于空间聚类方法能根据空间对象的属性对空间对象进行分类划分，其已经被广泛应用在城市规划、环境监测、地震预报等领域，发挥着较大的作用。同时，空间聚类也一直都是空间数据挖掘研究领域中的一个重要研究分支。目前，己有许多文献资料提出了针对不同数据类型的多种空间聚类算法，一些著名的软件，如WEAK、SPSS、SAS等软件中已经集成了各种聚类分析软件包。 1 空间数据的复杂性 空间聚类分析的对象是空间数据。由于空间数据具有空间实体的位置、大小、形状、方位及几何拓扑关系等信息，使得空间数据的存储结构和表现形式比传统事务型数据更为复杂，空间数据的复杂特性表现： (1)空间属性间的非线性关系。由于空问数据中蕴含着复杂的拓扑关系，因此，空间属性间呈现出一种非线性关系。这种非线性关系不仅是空间数据挖掘中需要进一步研究的问题，也是空问聚类所面临的难点之一。 (2)空间数据的尺度特征。空间数据的尺度特征足指在不同的层次上，空间数据所表现出来的特征和规律都不尽相同。虽然在空间信息的概化和细化过程中可以利用此特征发现整体和局部的不同特点，但对空间聚类任务来说，实际上是增加了空间聚类的难度。 (3) 间信息的模糊性。空间信息的模糊性足指各种类型的窄问信息中，包含大量的模糊信息，如空问位置、间关系的模糊性，这种特性最终会导致空间聚类结果的不确定性。 (4)空间数据的高维度。空问数据的高维度性是指空间数据的属性(包括空间属性和非空间属性)个数迅速增加，比如在遥感领域，获取的空间数据的维度已经快速增加到几十甚至上百个，这会给空间聚类的研究增加很大的困难。 2 空间聚类算法 目前，研究人员已经对空间聚类问题进行了较为深入的研究，提出了多种算法。根据空间聚类采用的不同思想，空间聚类算法主要可归纳为以下几种：基于划分的聚类算法、基于层次的聚类算法、基于密度的聚类算法、基于网格的聚类算法、基于模型的聚类算法以及其它形式的聚类算法，如图l所示。 (1)基于划分的聚类 基于划分的聚类方法是最早出现并被经常使用的经典聚类算法。其基本思想是：在给定的数据集随机抽取n个元组作为n个聚类的初始中心点，然后通过不断计算其它数据与这几个中心点的距离(比如欧几里得距离)，将每个元组划分到其距离最近的分组中，从而完成聚类的划分。由于基于划分的聚类方法比较容易理解，且易实现，目前其已被广泛的弓l入到空间聚类中，用于空间数据的分类。其中最为常用的几种算法是：k一平均(k-means)算法、kl中心点(k—medoids)算法和EM(expectation maximization)算法。k一平均算法’使
聚类分析实例分析题 WTD standardization office【WTD 5AB- WTDK 08- WTD 2C】
酿酒葡萄的等级划分葡萄酒的质量分类 由问题1中我们得知，第二组评酒员的的评价结果更为可信，所以我们通过第二组评酒员对于酒的评分做出处理。我们通过excel计算出每位评酒员对每支酒的总分，然后计算出每支酒的10个分数的平均值，作为总的对于这支酒的等级评价。 通过国际酿酒工会对于葡萄酒的分级，以百分制标准评级，总共评出了六个级别（见表5）。 表5：葡萄酒等级表 在问题2的计算中，我们求出了各支酒的分数，考虑到所有分数在区间[，]波动，以原等级表分级，结果将会很模糊，不能分得比较清晰。为此我们需要进一步细化等级。为此我们重新细化出5个等级，为了方便计算，我们还对等级进行降序数字等级（见表6）。 表6：细化后的葡萄酒等级表 通过对数据的预处理，我们得到了一个新的关于葡萄酒的分级表格（见表7）： 表7：各支葡萄酒的等级
经过整理，我们初步得到了对于葡萄酒的质量的分类的表格。 考虑到葡萄酒的质量与酿酒葡萄间有比较之间的关系，我们将保留葡萄酒质量对于酿酒葡萄的影响，先单纯从酿酒葡萄的理化指标对酿酒葡萄进行分类，然后在通过葡萄酒质量对酿酒葡萄质量的优劣进一步进行划分。 在通过酿酒葡萄的理化指标对酿酒葡萄分类的过程，我们用到了聚类分析方法中的ward最小方差法，又叫做离差平方和法。 聚类分析是研究分类问题的一种多元统计方法。所谓类，通俗地说，就是指相似元素的集合。为了将样品进行分类，就需要研究样品之间关系。这里的最小方差法的基本思想就是将一个样品看作P维空间的一个点，并在空间的定义距离，距离较近的点归为一类；距离较远的点归为不同的类。面对现在的问题，我们不知道元素的分
最短距离法： 定义i G 与j G 之间的距离为两类最近样品的距离，即为ij G X G X ij d D j j i i , ,min min ∈∈=， 设类p G 与q G 合并成一个新类记为r G ，则任一类k G 与r G 的距离为 } {kq kp ij G X G X ij G X G X ij G X G X kr D D d d d D q j k i p j k i r r k k ,min min ,min min min ,,,=?? ????== ∈∈∈∈∈∈ 最短距离法进行聚类分析的步骤如下： （1）定义样品之间距离，计算样品的两两距离，得一矩阵记为)0(D ,开始每个样品自成一类，显然这时ij ij d D =。 （2）找出距离最小元素，设为pq D ，则将p G 与q G 合并成一个新类记为r G ，即 }{q p r G G G ,=。 （3）按公式计算新类与其他类的距离。 （4）重复（2）（3）两步，直到所有元素合并成一类为止。如果某一步距离最小的元素不止一个，则对应这些最小元素的类可以同时合并。 R 型因子分析模型： R 型因子分析中的公共因子是不可直接观测但又客观存在的共同影响因素，每一个变量都可以表示成公共因子的线性函数与特殊因子之和，即 ,2211i m im i i i F a F a F a X ε++++= p i ,,2,1 = （1） （1）式中的m F F F ,,21称为公共因子，i ε称为i X 的特殊因子。该模型可用矩阵表示为 ε+=AF X (2) 这里()m pm p p m m A A A a a a a a a a a a A ,,212 1 22221 11211=?????? ????? ???=， ??????????????=p X X X X 21， ?????? ??????=m F F F F 21， ??????????????=p εεεε 21 且满足： （1）;p m ≤ （2）0),cov(=εF ,即公共因子与特殊因子是不相关的；