系统聚类的方法

五种常用系统聚类分析方法及其比较胡雷芳一、系统聚类分析概述聚类分析是研究如何将对象按照多个方面的特征进行综合分类的一种统计方法［１］。

然而在以往的分类学中，人们主要靠经验和专业知识作定性分类处理，许多分类不可避免地带有主观性和任意性，不能揭示客观事物内在的本质差别和联系；或者人们只根据事物单方面的特征进行分类，这些分类虽然可以反映事物某些方面的区别，但却往往难以反映各类事物之间的综合差异。

聚类分析方法有效地解决了科学研究中多因素、多指标的分类问题［２］。

在目前的实际应用中，系统聚类法和Ｋ均值聚类法是聚类分析中最常用的两种方法。

其中，Ｋ均值聚类法虽计算速度快，但需要事先根据样本空间分布指定分类的数目，而当样本的变量数超过３个时，该方法的可行性就较差。

而系统聚类法（Ｈｉｅｒａｒｃｈｉｃａｌｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｓ，也称层次聚类法）由于类与类之间的距离计算方法灵活多样，使其适应不同的要求。

该方法是目前实践中使用最多的。

这该方法的基本思想是：先将ｎ个样本各自看成一类，并规定样本与样本之间的距离和类与类之间的距离。

开始时，因每个样本自成一类，类与类之间的距离与样本之间的距离是相同的。

然后，在所有的类中，选择距离最小的两个类合并成一个新类，并计算出所得新类和其它各类的距离；接着再将距离最近的两类合并，这样每次合并两类，直至将所有的样本都合并成一类为止。

这样一种连续并类的过程可用一种类似于树状结构的图形即聚类谱系图（俗称树状图）来表示，由聚类谱系图可清楚地看出全部样本的聚集过程，从而可做出对全部样本的分类［３］。

二、五种常用系统聚类分析方法系统聚类法在进行聚类的过程中，需要计算类与类之间的距离。

根据类与类之间的距离计算方法的不同，我们可以将系统聚类法分为单连接法、完全连接法、平均连接法、组平均连接法与离差平方和法等。

１．单连接法（Ｓｉｎｇｌｅｌｉｎｋａｇｅ）单连接法又称最短距离法。

该方法首先将距离最近的样本归入一类，即合并的前两个样本是它们之间有最小距离和最大相似性；然后计算新类和单个样本间的距离作为单个样本和类中的样本间的最小距离，尚未合并的样本间的距离并未改变。

聚类分析聚类分析又称群分析，它是研究（样品或指标）分类问题的一种多元统计方法，所谓类，通俗地说，就是指相似元素的集合。

聚类分析内容非常丰富，按照分类对象的不同可分为样品分类（Q-型聚类分析）和指标或变量分类（R-型聚类分析）；按照分类方法可分为系统聚类法和快速聚类法。

1. 系统聚类分析先将n 个样品各自看成一类，然后规定样品之间的“距离”和类与类之间的距离。

选择距离最近的两类合并成一个新类，计算新类和其它类（各当前类）的距离，再将距离最近的两类合并。

这样，每次合并减少一类，直至所有的样品都归成一类为止。

系统聚类法直观易懂。

1.1系统聚类法的基本步骤：第一，计算n 个样品两两间的距离 ，记作D= 。

第二，构造n 个类，每个类只包含一个样品。

第三，合并距离最近的两类为一新类。

第四，计算新类与各当前类的距离。

第五，重复步骤3、4，合并距离最近的两类为新类，直到所有的类并为一类为止。

第六，画聚类谱系图。

第七，确定类的个数和类。

1.2 系统聚类方法：1.2.1最短距离法1.2.2最长距离法1.2.3中间距离法1.2.4重心法1.2.5类平均法1.2.6离差平方和法（Ward 法）上述6种方法归类的基本步骤一致，只是类与类之间的距离有不同的定义。

最常用的就是最短距离法。

1.3 最短距离法以下用ij d 表示样品i X 与j X 之间距离，用ij D 表示类i G 与j G 之间的距离。

定义类i G 与j G 之间的距离为两类最近样品的距离，即ij G G G G ij d D j J i i ∈∈=,min设类p G 与q G 合并成一个新类记为r G ，则任一类k G 与r G 的距离是：ij G X G X kr d D j j i i ∈∈=,min ⎭⎬⎫⎩⎨⎧=∈∈∈∈ij G X G X ij G X G X d d q j k i p j k i ,,min ,min min {}kq kp D D ,min = 最短距离法聚类的步骤如下：ij d {}ij d（1）定义样品之间距离，计算样品两两距离，得一距离阵记为)0(D ，开始每个样品自成一类，显然这时ij ij d D =。

系统聚类的基本步骤系统聚类是一种常用的数据分析方法，它可以将数据集中的观测对象按照相似性进行分类，从而发现数据集中的内在结构。

系统聚类的基本步骤包括：确定距离度量方法、选择聚类算法、计算距离矩阵、构建聚类树、确定最优聚类划分。

一、确定距离度量方法距离度量方法是系统聚类的基础，它用来计算不同观测对象之间的相似性或差异性。

常用的距离度量方法包括欧氏距离、曼哈顿距离、切比雪夫距离等。

在选择距离度量方法时需要考虑数据类型和特征属性的差异，以及样本之间是否存在缺失值等因素。

二、选择聚类算法系统聚类可以分为凝聚层次聚类和分裂层次聚类两种算法。

凝聚层次聚类是从下往上逐步合并相似的小簇，直到形成一个大簇；而分裂层次聚类则是从上往下逐步将大簇细分成小簇。

在实际应用中，需要根据数据集大小和特征属性的差异来选择合适的聚类算法。

三、计算距离矩阵距离矩阵是系统聚类的核心，它记录了样本之间的距离或相似性。

在实际操作中，可以使用基于距离度量方法的函数库来计算距离矩阵。

常用的函数库包括Scipy、Numpy等。

四、构建聚类树聚类树是系统聚类的结果，它将所有观测对象按照相似性进行层次化排列，并形成一棵二叉树。

在构建聚类树时，可以采用分裂或凝聚策略，并通过不同的图形化方式展示结果。

五、确定最优聚类划分最优聚类划分是系统聚类的目标，它旨在将数据集中的观测对象划分为若干个互不重叠且内部相似度高的簇。

在确定最优聚类划分时，需要考虑簇内相似度和簇间差异度等因素，并采用评价指标来评估不同聚类结果之间的优劣性。

综上所述，系统聚类是一种常用而有效的数据分析方法，在实际应用中需要遵循以上基本步骤，并根据数据集的特点和分析目的来进行灵活调整。

聚类分析聚类分析是研究“物以类聚”的一种多元统计方法。

国内有人称它为群分析、点群分析、簇群分析等。

聚类分析的基本概念聚类分析是研究对样品或指标进行分类的一种多元统计方法,是依据研究对象的个体的特征进行分类的方法。

它把分类对象按一定规则分成若干类，这些类非事先给定的，而是根据数据特征确定的。

在同一类中这些对象在某种意义上趋向于彼此相似，而在不同类中趋向于不相似。

它职能是建立一种能按照样品或变量的相似程度进行分类的方法。

聚类分析的基本思想是认为我们所研究的样本或指标（变量）之间存在着程度不同的相似性（亲疏关系）。

于是根据一批样本的多个观测指标，具体找出一些彼此之间相似程度较大的样本（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样本（或指标）又聚合为另一类，关系密切的聚合到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到把所有样本（或指标）都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统。

最后把整个分类系统画成一张谱系图，用它把所有样本（或指标）间的亲疏关系表示出来。

这种方法是最常用的、最基本的一种，称为系统聚类分析。

聚类分析有两种：一种是对样本的分类，称为Q型，另一种是对变量（指标）的分类，称为R型。

聚类分析给人们提供了丰富多彩的方法进行分类，这些方法大致可以归纳为：（1）系统聚类法。

首先将n个也样品看成n类（一个类包含一个样品），然后将性质最接近的两类合并成一个新类，我们得到n-1类，再从中找出最接近的两类加以合并成了n-2类，如此下去，最后所有的样品均在一类，将上述并类过程画成一张图（称为聚类图）便可决定分多少类，每类各有什么样品。

（2）模糊聚类法。

将模糊数学的思想观点用到聚类分析中产生的方法。

该方法多用于定型变量的分类。

（3）K—均值法。

K—均值法是一种非谱系聚类法，它是把样品聚集成k个类的集合。

类的个数k可以预先给定或者在聚类过程中确定。

该方法可用于比系统聚类法大得多的数据组。

聚类分析的方法一、系统聚类法系统聚类分析法就是利用一定的数学方法将样品或变量（所分析的项目）归并为若干不同的类别（以分类树形图表示），使得每一类别内的所有个体之间具有较密切的关系，而各类别之间的相互关系相对地比较疏远。

系统聚类分析最后得到一个反映个体间亲疏关系的自然谱系，它比较客观地描述了分类对象的各个体之间的差异和联系。

根据分类目的不同，系统聚类分析可分为两类：一类是对变量分类，称为R型分析；另一类是对样品分类，称为Q型分析。

系统聚类分析法基本步骤如下（许志友，1988）。

（一）数据的正规化和标准化由于监测时所得到的数值各变量之间相差较大，或因各变量所取的度量单位不同，使数值差别增大，如果不对原始数据进行变换处理，势必会突出监测数据中数值较大的一些变量的作用，而消弱数值较小的另一些变量的作用，克服这种弊病的办法是对原始数据正规化或标准化，得到的数据均与监测时所取的度量单位无关。

设原始监测数据为Xij (i＝1，2，…，n；j＝1，2，…，m；n为样品个数，m为变量个数)，正规化或标准化处理后的数据为Zij (i＝1，2，…，n；j＝1，2，…，m)。

1. 正规化计算公式如下：（7-32）（i＝1，2，…，n；j＝1，2，…，m）2. 标准化计算公式如下：（7-33）（i＝1，2，…，n；j＝1，2，…，m）其中：（二）数据分类尺度计算为了对数据Zij进行分类，须对该数据进一步处理，以便从中确定出分类的尺度，下列出分类尺度计算的四种方法。

1.相关系数R两两变量间简单相关系数定义为：（7-34）（i，j＝1，2，…，m）其中一般用于变量的分类（R型）。

有一1≤≤1且愈接近1时，则此两变量愈亲近，愈接近-1，则关系愈疏远。

2.相似系数相似系数的意义是，把每个样品看做m维空间中的一个向量，n个样品相当于m维空间中的n个向量。

第i个样品与第j个样品之间的相似系数是用两个向量之间的夹角余弦来定义，即：（7-35）（i，j＝1，2，…，m）常用于样品间的分类（Q型）。

欧式距离法系统聚类计算过程欧式距离法系统聚类计算过程1. 概述欧式距离法是一种常用的系统聚类方法，其计算过程包括距离计算、类的合并和更新三个步骤。

在本文中，我们将深入探讨欧式距离法系统聚类的计算过程，以及其在数据分析和机器学习中的应用。

2. 距离计算在欧式距离法中，距离的计算是关键的一步。

我们需要确定数据集中每个数据点之间的距离。

以二维数据为例，假设有两个点A(x1, y1)和B(x2, y2)，它们之间的欧式距离可以表示为：\[d_{AB} = \sqrt{(x2 - x1)^2 + (y2 - y1)^2}\]这个公式可以扩展到多维空间中，即对于n维空间的数据点之间的欧式距离可以表示为：\[d_{AB} = \sqrt{\sum_{i=1}^{n}(x_{2i} - x_{1i})^2}\]通过计算得到每对数据点之间的距离矩阵，我们就可以进入下一步的类的合并。

3. 类的合并在系统聚类中，初始时每个数据点都被视为一个单独的类。

根据距离矩阵，我们需要确定哪两个类之间的距离最近，然后将它们合并成一个新的类。

这个过程不断迭代，直到所有的数据点都被合并成一个类，或者达到预设的聚类数目。

4. 类的更新每次合并类之后，需要更新距离矩阵。

这涉及到重新计算合并后类与其他类之间的距离。

具体来说，假设我们将类A和类B合并成新的类C，那么新的距离矩阵中类C与其他类的距离可以通过以下公式更新：\[d_{iC} = \frac{d_{iA} + d_{iB}}{2}\]其中\(d_{iA}\)和\(d_{iB}\)分别表示类A和类B与第i类的距禮。

通过不断更新距离矩阵，我们可以得到最终的聚类结果。

5. 个人观点和理解欧式距离法系统聚类是一种简单而有效的聚类方法，特别适用于连续型数据。

在实际应用中，我们可以通过该方法对数据集进行分组，发现其中的潜在模式和规律。

但需要注意的是，欧式距离法对异常值比较敏感，因此在使用过程中需要进行适当的数据预处理和异常值处理。

第一节系统聚类分析第五章聚类分析(一)教学目的通过本章的学习，对聚类分析从总体上有一个清晰地认识，理解聚类分析的基本思想和基本原理，掌握用聚类分析解决实际问题的能力。

(二)基本要求了解聚类分析的定义，种类及其应用范围，理解聚类分析的基本思想，掌握各类分析方法的主要步骤。

(三)教学要点1、聚类分析概述;2、系统聚类分析基本思想，主要步骤;3、动态聚类法基本思想，基本原理，主要步骤;4、模糊聚类分析基本思想，基本原理，主要步骤;5、图论聚类分析基本思想，基本原理。

(四)教学时数6课时五)教学内容 (1、聚类分析概述2、系统聚类分析3、动态聚类法4、模糊聚类分析5、图论聚类分析统计分组或分类可以深化人们的认识。

实际应用中，有些情况下进行统计分组比较容易，分组标志确定了，分组也就得到了，但是，有些情况下进行统计分组却比较困难，特别是当客观事物性质变化没有明显标志时，用于确定分组的标志和组别就很难确定。

聚类分析实际上给我们提供了一种对于复杂问题如何分组的统计方法。

第一节聚类分析概述一、聚类分析的定义聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统计分析方法。

聚类分析时，用来描述样品或变量的亲疏程度通常有两个途径，一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定义点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度;另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲疏程度。

二、聚类分析的种类(一)聚类分析按照分组理论依据的不同，可分为系统聚类法，动态聚类法，模糊聚类、图论聚类、聚类预报等多种聚类方法。

1、系统聚类分析法。

是在样品距离的基础上定义类与类的距离，首先将个样品自成n一类，然后每次将具有最小距离的两个类合并，合并后再重新计算类与类之间的距离，再并类，这个过程一直持续到所有的样品都归为一类为止。

这种聚类方法称为系统聚类法。

根据并类过程所做的样品并类过程图称为聚类谱系图。

系统聚类分析方法聚类分析是研究多要素事物分类问题的数量方法。

基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。

常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。

1. 聚类要素的数据处理假设有m 个聚类的对象，每一个聚类对象都有个要素构成。

它们所对应的要素数据可用表3.4.1给出。

（点击显示该表）在聚类分析中，常用的聚类要素的数据处理方法有如下几种。

①总和标准化②标准差标准化③极大值标准化经过这种标准化所得的新数据，各要素的极大值为1，其余各数值小于1。

④极差的标准化经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0与1之间。

2. 距离的计算距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。

①绝对值距离选择不同的距离，聚类结果会有所差异。

在地理分区和分类研究中，往往采用几种距离进行计算、对比，选择一种较为合适的距离进行聚类。

例：表3.4.2给出了某地区九个农业区的七项指标，它们经过极差标准化处理后，如表3.4.3所示。

对于表3.4.3中的数据，用绝对值距离公式计算可得九个农业区之间的绝对值距离矩阵：3. 直接聚类法直接聚类法是根据距离矩阵的结构一次并类得到结果。

▲ 基本步骤：①把各个分类对象单独视为一类；②根据距离最小的原则，依次选出一对分类对象，并成新类；③如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类；每一次归并，都划去该对象所在的列与列序相同的行；④那么，经过m-1次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。

★直接聚类法虽然简便，但在归并过程中是划去行和列的，因而难免有信息损失。

因此，直接聚类法并不是最好的系统聚类方法。

[举例说明]（点击打开新窗口，显示该内容）例：已知九个农业区之间的绝对值距离矩阵，使用直接聚类法做聚类分析。