聚类分析

聚类分析原理
聚类分析是一种无监督学习算法，它将数据集中的对象分
成相似的组或簇。

其原理基于以下几个关键步骤：
1. 选择合适的相似性度量：聚类算法需要定义一个衡量对
象之间相似性的度量方式。

常用的度量方法包括欧氏距离、曼哈顿距离、余弦相似度等。

2. 初始化聚类中心：聚类算法通常需要提前指定簇的数量K。

然后可以随机选取K个样本作为初始的聚类中心，或者通过某种启发式方法选择初始聚类中心。

3. 分配样本到簇：将每个样本分配到最接近的聚类中心所
属的簇。

这个过程可以通过计算每个样本与每个聚类中心
之间的距离，并选择距离最小的聚类中心来完成。

4. 更新聚类中心：根据当前簇中的样本重新计算聚类中心
的位置，通常是取簇内所有样本的均值作为新的聚类中心。

5. 重复步骤3和步骤4，直到簇的分配结果不再变化或达
到预定的停止条件。

6. 输出最终的聚类结果。

聚类分析的目标是在不知道样本的真实标签的情况下，将
样本聚类成相似的组。

它可以帮助发现数据的内在结构，
识别相似的样本和异常值，以及进行数据压缩和预处理等
任务。

第五讲聚类分析聚类分析是一种无监督学习方法，旨在将样本数据划分为具有相似特征的若干个簇。

它通过测量样本之间的相似性和距离来确定簇的划分，并试图让同一簇内的样本点相似度较高，而不同簇之间的样本点相似度较低。

聚类分析在数据挖掘、模式识别、生物信息学等领域有着广泛的应用，它可以帮助我们发现隐藏在数据中的模式和规律。

在实际应用中，聚类分析主要包含以下几个步骤：1.选择合适的距离度量方法：距离度量方法是聚类分析的关键，它决定了如何计算样本之间的相似性或距离。

常用的距离度量方法包括欧氏距离、曼哈顿距离、切比雪夫距离等。

2.选择合适的聚类算法：聚类算法的选择要根据具体的问题和数据特点来确定。

常见的聚类算法有K-means算法、层次聚类算法、DBSCAN算法等。

3.初始化聚类中心：对于K-means算法等需要指定聚类中心的方法，需要初始化聚类中心。

初始化可以随机选择样本作为聚类中心，也可以根据领域知识或算法特点选择合适的样本。

4.计算样本之间的相似度或距离：根据选择的距离度量方法，计算样本之间的相似度或距离。

相似度越高或距离越小的样本越有可能属于同一个簇。

5.按照相似度或距离将样本划分为不同的簇：根据计算得到的相似度或距离，将样本划分为不同的簇。

常用的划分方法有硬聚类和软聚类两种。

硬聚类将样本严格地分到不同的簇中，而软聚类允许样本同时属于不同的簇，并给出属于每个簇的概率。

6.更新聚类中心：在K-means等迭代聚类算法中，需要不断迭代更新聚类中心，以找到最优划分。

更新聚类中心的方法有多种，常用的方法是将每个簇内的样本的均值作为新的聚类中心。

7.评估聚类结果：通过评估聚类结果的好坏，可以判断聚类算法的性能。

常用的评估指标有轮廓系数、Dunn指数、DB指数等。

聚类分析的目标是让同一簇内的样本点尽量相似，而不同簇之间的样本点尽量不相似。

因此，聚类分析常常可以帮助我们发现数据中的分组结构，挖掘出数据的内在规律。

聚类分析在市场细分、社交网络分析、基因表达数据分析等领域都有广泛的应用。

属于非系统聚类法的一种
也叫快速聚类\动态聚类、逐步聚类、迭代 聚类）（quick cluster method、kmeans model ）
适用于样本量很大的情形，用系统聚类法 计算的工作量极大，作出的树状图也十分复 杂, 不便于分析
1、原理
➢选择初始凝聚点 ➢根据欧氏距离将每个样品归类 ➢各类的重心代替初始凝聚点 ➢根据欧氏距离将每个样品归类，…… ➢直至达到指定的迭代次数或达到终止迭代的 判据要求
8.Mcquitty的相似分析法(Mcquitty's similarity analysis)
9.最大似然估计法(EML)
10.密度估计(density linkage)
11.两阶段密度估计法(two-stage density linkage)等。
4、系统聚类法的性质
➢ 单调性
中间距离法、重心法不具有单调性 ➢ 空间的浓缩与扩张
4、菜单：
Analyze-classify-K means Cluster
5、分析实例(P416 data13-02)
三、Hierarchical Cluster 过程 1、系统聚类的基本思想
➢ 相近的聚为一类(以距离表示，样品聚类) ➢ 相似的聚为一类(以相似系数表示，变量聚类)
2、方法原理
9、共线性问题
对纪录聚类结果有较大的影响 最好先进行预处理
10、变量的标准化
变量变异程度相差非常大时需要进行 标准化后会削弱有用变量的作用
11、异常值
影响较大 还没有比较好的解决办法 应尽力避免
12、分类数
从实用角度讲，2～8类比较合适
13、专业意义
一定要结合专业知识进行分析
二、K-means Cluster 过程

聚类分析是一种建立分类的多元统计分析方法，它能够将一批样本（或变量）数据根据其诸多特征，按照在性质上的亲疏程度在没有先验知识的情况下进行自动分类，产生多个分类结果，类内部个体特征具有相似性，不同类间个体特征的差异性较大。

没有先验知识是指没有事先指定分类标准。

亲疏程度是指各变量取之上的总体差异程度。

对亲疏程度的测量一般有两个角度：第一，个体间的相似程度；第二，个体间的差异程度。

相似程度通常用简单相关系数或等级相关系数。

差异程度通常计算某种距离来测度。

距离公式：①欧氏距离（Euclidean distance ）(),EUCLID x y =②平方欧氏距离（Squared Euclidean distance ）()()21,ki i i SEUCLID x y x y ==-∑③切比雪夫（Chebychev ）距离(),max i i CHEBYCHEV x y x y =-④布洛克（Block ）距离()1,ki i i BLOCK x y x y ==-∑⑤明考斯基（Minkowski ）距离(),MINKOWSKI x y =⑥夹角余弦定理（Cosine ）距离()()2,ki i x y COSINE x y =∑⑦用户自定义（Customized ）距离(),CUSTOMIZED x y =在数据类型不同的情况下，个体间的距离计算也有相应的不同。

主要有： 定距型（Interval ）计数变量（Count ） 二值变量（Binary ）在计数变量时，有卡方距离和Phi 方距离 ①卡方距离（Chi-Square measure ）(),CHISQ x y =②Phi 方距离（Phi-Square measure ）(),PHISQ x y =二值变量时，有简单匹配系数和雅科比系数 ①简单匹配系数（Simple Matching ）(),S x y a b c d =+++②雅科比系数（Jaccard ）(),b cJ x y a b c+=++聚类分析的应注意的几点：1．变量的选择：所选择的变量应符合聚类的要求（即指标体系要符合要求）2．数量级的问题：变量之间不应该有数量级上的差异。