系统工程 主成分分析及聚类分析

系统聚类分析方法聚类分析是研究多要素事物分类问题的数量方法。

基本原理是根据样本自身的属性，用数学方法按照某种相似性或差异性指标，定量地确定样本之间的亲疏关系，并按这种亲疏关系程度对样本进行聚类。

常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。

1.聚类要素的数据处理假设有m 个聚类的对象，每一个聚类对象都有个要素构成。

它们所对应的要素数据可用表 3.4.1 给出。

（点击显示该表）在聚类分析中，常用的聚类要素的数据处理方法有如下几种。

①总和标准化②标准差标准化③极大值标准化经过这种标准化所得的新数据，各要素的极大值为1，其余各数值小于1。

④极差的标准化经过这种标准化所得的新数据，各要素的极大值为1，极小值为0，其余的数值均在0 与 1 之间。

2.距离的计算距离是事物之间差异性的测度，差异性越大，则相似性越小，所以距离是系统聚类分析的依据和基础。

①绝对值距离选择不同的距离，聚类结果会有所差异。

在地理分区和分类研究中，往往采用几种距离进行计算、对比，选择一种较为合适的距离进行聚类。

例：表 3.4.2 给出了某地区九个农业区的七项指标，它们经过极差标准化处理后，如表 3.4.3 所示。

对于表 3.4.3 中的数据，用绝对值距离公式计算可得九个农业区之间的绝对值距离矩阵：3.直接聚类法直接聚类法是根据距离矩阵的结构一次并类得到结果。

▲基本步骤：①把各个分类对象单独视为一类；②根据距离最小的原则，依次选出一对分类对象，并成新类；③如果其中一个分类对象已归于一类，则把另一个也归入该类；如果一对分类对象正好属于已归的两类，则把这两类并为一类；每一次归并，都划去该对象所在的列与列序相同的行；④那么，经过m-1 次就可以把全部分类对象归为一类，这样就可以根据归并的先后顺序作出聚类谱系图。

★直接聚类法虽然简便，但在归并过程中是划去行和列的，因而难免有信息损失。

因此，直接聚类法并不是最好的系统聚类方法。

[ 举例说明 ]（点击打开新窗口，显示该内容）例：已知九个农业区之间的绝对值距离矩阵，使用直接聚类法做聚类分析。

主成分分析和聚类分析的比较摘要：主成分分析和聚类分析方多元统计中两种重要的分析方法，但却容易在使用中混淆。

本文从基本思想，应用的优缺点、应用实例中讨论两者的异同，并简述两种方法在实际问题中的应用。

关键词：主成分分析；聚类分析一、引言主成分分析是利用降维的思想，在缺失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。

通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。

聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。

其主要依据是聚到同一个数据集的样本应该性质相似，而属于不同组的样本应该足够不相似。

两种方法既有区别又有联系，本文将两者的异同进行比较，并举例说明两者在实际应用中的联系，以便更好地理解这两种统计方法而为实际所应用。

二、基本思想的异同相同点：主成分分析方法是用少数的几个变量来综合反映原始变量的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85%以上，因此其可信度很高。

通过主成分分析，可以将事物之间错综复杂的关系中找出一些主要成分，从而能有效利用大量统计数据进行定量分析，解释变量之间的内在关系。

因此主成分变量比原始变量少了很多，从而起到了降维的作用。

聚类分析的基本思想是采用多变量的统计值，定量的确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用。

按它们亲疏差异程度，归类不同的分类中的一元。

使分类更具有客观实际并能反映事物的内在必然联系。

聚类分析是通过一种大的对称矩阵来探索相关关系的一种数学分析方法。

对变量分类后，我们对数据的处理难度也降低，所以从某种意义上说，聚类分析也起到了降维的作用。

不同点：主成分分析是研究如何通过原来变量的少数几个变量组合来解释原来变量绝大多数信息的一种多元统计方法。

多元统计分析方法及其应用场景多元统计分析是一种应用数学方法，用于研究多个变量之间的关系和模式。

它可以帮助我们理解和解释数据中的复杂关系，从而提供有关数据集的深入见解。

在各个领域，多元统计分析方法都得到了广泛的应用，包括社会科学、自然科学、医学和工程等。

一、主成分分析（PCA）主成分分析是一种常用的多元统计分析方法，用于降低数据维度和提取主要特征。

它通过将原始数据转换为一组新的无关变量，称为主成分，来实现这一目标。

主成分是原始变量的线性组合，它们按照解释方差的大小排序。

主成分分析可以帮助我们理解数据中的主要变化模式，并且在数据可视化和特征选择方面非常有用。

主成分分析的应用场景非常广泛。

例如，在生物学研究中，主成分分析可以用于分析基因表达数据，帮助鉴别不同组织或疾病状态下的基因表达模式。

在金融领域，主成分分析可以用于分析股票组合的风险和收益，从而帮助投资者进行资产配置。

二、聚类分析聚类分析是一种无监督学习方法，用于将数据集中的观测对象分成不同的组或簇。

聚类分析通过计算观测对象之间的相似性或距离来实现这一目标。

常用的聚类算法有层次聚类和k均值聚类。

层次聚类通过构建层次树来表示不同的聚类结构，而k均值聚类将数据分为k个簇，每个簇中的观测对象与该簇的质心最为相似。

聚类分析可以在很多领域中得到应用。

例如，在市场研究中，聚类分析可以用于对消费者进行分群，从而帮助企业制定针对不同群体的市场策略。

在医学领域，聚类分析可以用于对患者进行分类，从而帮助医生进行个体化治疗。

三、判别分析判别分析是一种监督学习方法，用于确定一组变量对于区分不同组别的观测对象是最有效的。

判别分析通过计算不同组别之间的差异性和相似性来实现这一目标。

它可以帮助我们理解和解释不同组别之间的差异，并且在分类和预测方面非常有用。

判别分析在许多领域中都有应用。

例如，在医学诊断中，判别分析可以用于根据一组生物标志物来区分健康和疾病状态。

在社会科学研究中，判别分析可以用于根据个人特征来预测其所属的社会经济阶层。

主成分分析、聚类分析、因子分析的基本思想及优缺点主成分分析：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分),用综合指标来解释多变量的方差- 协方差结构，即每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。

求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。

（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）注意事项：1. 由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；2. 对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；3.主成分分析不要求数据来源于正态分布；4. 在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。

优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。

其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。

再次它在应用上侧重于信息贡献影响力综合评价。

缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。

命名清晰性低。

聚类分析：将个体（样品）或者对象（变量）按相似程度（距离远近）划分类别，使得同一类中的元素之间的相似性比其他类的元素的相似性更强。

目的在于使类间元素的同质性最大化和类与类间元素的异质性最大化。

其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。

常用聚类方法：系统聚类法，K-均值法，模糊聚类法，有序样品的聚类，分解法，加入法。

注意事项：1. 系统聚类法可对变量或者记录进行分类，K-均值法只能对记录进行分类；2. K-均值法要求分析人员事先知道样品分为多少类；3. 对变量的多元正态性，方差齐性等要求较高。

北京建筑工程学院理学院信息与计算科学专业实验报告课程名称《数据分析》实验名称《主成分分析和聚类分析》实验地点：基础楼C-423日期__2016.5.5_____ 姓名张丽芝班级信131 学号201307010108___指导教师王恒友成绩【实验目的】（1）熟悉利用主成分分析进行数据分析，能够使用SPSS软件完成数据的主成分分析；（2）熟悉利用聚类分析进行数据分析，能够运用主成分分析的结果，做进一步分析，如聚类分析、回归分析等，能够使用SPSS软件完成该任务。

【实验要求】根据各个题目的具体要求，分别运用SPSS软件完成实验任务。

【实验内容】1、表4.9（数据见exercise4_5.txt）给出了1991年我国30个省市、城镇居民的月平均消费数据，所考察的八个指标如下：（单位均为元/人）X1: 人均粮食支出；X2：人均副食支出；X3: 人均烟酒茶支出；X4: 人均其他副食支出；X5:人均衣着商品支出；X6: 人均日用品支出；X7: 人均燃料支出；X8: 人均非商品支出。

（1）求样本相关系数矩阵R。

（2）从R出发做主成分分析，求出各主成分的贡献率及前两个主成分的累积贡献率；2、（1）对题1中的数据，按照原有的八个指标，对30个省份进行聚类，给出分为3类的聚类结果。

（2）利用题1得到的前2个主成分指标，分别按最短距离法（最近邻居距离）、最长距离法（最远邻居距离）、类平均距离法（组间平均距离）、重心距离法；其中距离均采用欧式平方距离，对样本进行谱系聚类分析，并画出谱系聚类图；给出分为3类的聚类结果。

并与（1）的结果进行比较【实验步骤】（此部分主要包括实验过程、方法、结果、对结果的分析、结论等）11）2）方差贡献率是38.704%，第二个主成分的方差贡献率是29.590%，前两个主成分的方差占所有主成分方差的64.294%。

前两个主成分的累计贡献率为68.294%，选择前两个主成分即可代表绝大多数原来的变量。

主成分分析聚类分析因子分析的基本思想及优缺点1.降维：主成分分析可以将高维数据降维到较低维，便于数据的可视化和理解。

2.信息损失小：主成分保留了原始数据中大部分的方差，意味着经过主成分分析后的数据仍然能够保持原始数据的重要信息。

3.无假设性：主成分分析不需要对数据做出任何假设，适用于不同类型的数据。

1.可能丢失一些重要信息：虽然主成分保留了原始数据中大部分的方差，但也有可能丢失一些重要的信息。

2.对异常值敏感：主成分分析对异常值敏感，当数据中存在异常值时，可能对主成分的计算产生较大的影响。

3.需要进行数据标准化：主成分分析基于协方差矩阵或相关系数矩阵，因此需要对数据进行标准化处理，使得不同变量具有相同的尺度。

聚类分析（Cluster Analysis）是一种无监督学习方法，主要用于将数据样本划分为不同的群组或簇。

其基本思想是通过计算样本之间的相似度或距离，将相似的样本归为一类。

聚类分析的步骤包括：选择聚类算法（如k-means、层次聚类等），计算样本之间的相似度或距离，将相似的样本归为一类。

最后根据聚类结果进行验证和解释。

聚类分析的优点包括：1.无监督学习：聚类分析是一种无监督学习方法，不需要事先对数据进行标记或分类，适用于没有先验知识的数据。

2.发现隐藏模式：聚类分析能够发现数据中的潜在模式和相似性，有助于研究人员对数据进行探索和发现新的知识。

3.可解释性：聚类分析结果易于解释和理解，能够提供数据的直观结构。

聚类分析的缺点包括：1.对初始点敏感：聚类分析的结果可能受到初始点的选择影响，不同的初始点可能得到不同的聚类结果。

2.高维数据困难：当数据维度较高时，聚类分析面临“维度灾难”问题，会导致聚类结果不稳定或低效。

3.人为定制参数：聚类分析中需要选择合适的聚类数目、距离度量等参数，这些参数的选择可能会影响聚类结果。

因子分析（Factor Analysis）是一种统计方法，用于研究观测变量背后的潜在因子结构。

实验三主成分分析、聚类分析和判别分析学院：地理科学学院专业：自然地理学姓名：郭国洋实验内容（1）中国31个省份、直辖市、自治区（不包括港澳台）经济状况的7项指标。

（2）用主成分分析剖析出影响中国大陆经济状况的主要指标，并对中国大陆的经济综合实力进行排序。

（3）用主成分剖析出的指标，用聚类分析对中国大陆的经济状况进行评价，并对每类的经济综合状况进行评价。

（4）结合本题，谈谈聚类分析和主成分分析两种方法如何结合使用来分析问题。

实验目的（1）巩固主成分和聚类分析的基本原理和方法步骤以及在实际分析中的意义。

（2）用SPSS软件完成地理的主成分分析和聚类分析。

第一部分主成分分析1 实验数据查阅2012年中国统计年鉴，数据表示2011年的指标。

得到中国31个省份、直辖市、自治区（不含港澳台）的7项经济统计指标数据，包括：总人口/10^4人，城镇人口比例/%，第一产业总产值/10^8元，工业生产总值/10^8元，公共财政预算收入/10^8元，城乡居民储蓄余额/10^8元，城镇单位就业人员工资总额/10^8元。

样本容量：31，变量：7，如图1。

2 实验步骤及分析（1）点击“分析”—“降维”—“因子分析”，将上述的7个指标选择为变量。

SPSS中的“主成分分析”嵌入到“因子分析”中，因此在操作的过程中我们要先进行因子分析。

如2。

图2 选择因子分析变量（2）依次点击“因子分析”框中的“描述”、“抽取”、“旋转”、“得分”、“选项”，勾选相应的选项，如图3、4、5、6、7所示图3抽取图4 旋转图4描述统计图5因子得分图6选项图7旋转（3）点击“确定”，得到相应的结果并分析。

图8 KMO和Bartlett检验分析：图8中，在进行因子分析之前，需要检验变量之间是否具备进行分析的条件。

由图中可知KMO值为0.787>0.5，说明数据变量之间具有结构效度，Sig<0.05，说明可以进行因子分析。

图9 公因子方差分析：图9是指全部公共因子对于变量的总方差做所的贡献，说明了全部公共因子反映出的原变量的信息的百分比。

系统工程论文主成分分析与聚类分析姓名：学号：班级：学院：指导教师：数据为2012年全国各省城镇民平均每人全年家庭收入来源的各项数据。

数据来源位国家统计局/easyquery.htm?cn=E0103表1-1 2012年全国各省城镇民平均每人全年家庭收入来源一 主成分分析主成分分析（Principal Component Analysis ，PCA ）， 是一种统计方法。

通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

其分析步骤如下：1.1.1 首先将样本数据写成矩阵的形式⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=6,312,311,310262221161211Y Y Y Y Y Y Y Y Y Y （1）对样本进行标准化处理 标准化处理计算式位∑∑∑===⎪⎭⎫⎝⎛--=311311311311311311i i ij ij i ijij ij Y Y Y Y X （2）经过标准化处理后可得到标准化矩阵⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=6,312,3101,31262221161211X X X X X X X X X X （3）数据标准化是为了消除量纲的影响。

矩阵元素如表1-2所示，标准化矩阵是通过MATLAB 程序实现，源程序在文章最后。

表1-2 标准化数据1.1.2 计算6个指标的协方差矩阵⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==6,312,311,31262221161211311r r r r r rr r r X X R T （4）矩阵（4）是一个实对称矩阵。

经计算，矩阵（4）的每一个元素如表格3所示。

表1-3 相关系数矩阵1.1.3 求相关系数的特征矩阵和特征值，表1-4 特征向量系数表1-5 特征值表1-6 特征值及主成分贡献率一般区累计贡献率为85%-95%的特征值1λ，2λ分别对应第一主成分和第二主成分1.1.4计算主成分载荷二，聚类分析法聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。

主成分分析及聚类分析主成分分析（PCA）是一种无监督学习的技术，用于将数据从高维空间投影到低维空间，同时尽可能地保留原始数据的信息。

主成分分析通过线性变换将原始数据转化为具有最大方差的新特征，这些新特征被称为主成分。

第一主成分具有最大的方差，第二主成分则与前一主成分正交，并具有第二大的方差，依此类推。

主成分的数量等于原始数据维度。

主成分分析有很多应用。

首先，它可以用于数据降维。

通过选择较少的主成分，可以将高维数据转化为低维数据，从而降低计算复杂度和存储需求，同时保留数据的主要特征。

其次，主成分分析也可以用于提取数据中的主要特征。

通过选择具有较高方差的主成分，可以过滤掉噪声和次要特征，从而更好地理解数据。

此外，主成分分析还可以可视化数据，找出数据中的模式和相关结构。

聚类分析是一种将数据对象分组为无标记子集的技术。

相似的数据对象被分到同一组中，不相似的数据对象被分到不同的组中。

聚类分析可以帮助我们理解数据集中的结构和组织，发现隐藏的模式和规律。

聚类分析可以根据不同的算法进行，常用的包括k-means聚类、层次聚类和DBSCAN聚类等。

k-means聚类是一种迭代优化算法，根据样本之间的距离将数据划分为k个互不重叠的簇。

层次聚类将数据对象组织成一颗树状结构，根据样本之间的相似性递归地进行划分。

DBSCAN聚类是一种基于密度的聚类算法，将具有足够多相邻样本的区域定义为一个簇。

聚类分析可以在很多领域中应用。

在市场营销中，聚类分析可以根据顾客的购买行为和偏好将顾客分成不同的群体，从而定制个性化的营销策略。

在图像处理中，聚类分析可以将像素点按照颜色和纹理特征聚类，从而实现图像分割和目标检测。

在生物信息学中，聚类分析可以根据基因的表达数据将基因分成不同的表达模式，从而发现潜在的功能和相互作用。

总结起来，主成分分析和聚类分析是常用的统计技术，它们在数据分析和模式识别中有广泛的应用。

主成分分析可以用于数据降维、特征提取和可视化，聚类分析可以用于数据分组、模式发现和需求识别。

聚类分析与主成分分析组员：王浩、郑涛、王亚丽、朱思维一、两种聚类分析根据分类对象的不同，聚类分析分为两种：(1) 样品聚类：样品聚类是对样品（观测）进行的分类处理，又称为Q型分类，相当于对观测数据阵按行分类。

(2) 变量聚类：变量聚类是对变量（指标）进行的分类处理，又称为R型分类，相当于对观测数据阵按列分类。

两种聚类在形式上是对称的，处理方法也是相似的。

二、聚类分析的方法⏹聚类方法大致可归纳如下：⏹(1) 系统聚类法（谱系聚类）先将i个元素（样品或变量）看成i类，然后将性质最接近（或相似程度最大）的2类合并为一个新类，得到i–1类，再从中找出最接近的2类加以合并变成了i –2类，如此下去，最后所有的元素全聚在一类之中。

⏹(2) 分解法（最优分割法）其程序与系统聚类相反。

首先所有的元素均在一类，然后按照某种最优准则将它分成2类、3类，如此下去，一直分裂到所需的k类为止。

⏹(3)动态聚类法（逐步聚类法）开始将l个元素粗糙地分成若干类，然后用某种最优准则进行调整，一次又一次地调整，直至不能调整为止。

⏹(4) 有序样品的聚类n个样品按某种因素（时间或年龄或地层深度等）排成次序，要求必须是次序相邻的样品才能聚在一类。

⏹其他还有：有重叠聚类、模糊聚类、图论聚类等方法。

三、距离与相似系数⏹距离常用来度量样品之间的相似性。

相似系数则常用来度量变量之间的相似性。

样品之间的距离和相似系数有着各种不同的定义，而这些定义与变量的类型有着非常密切的关系。

通常变量按测量尺度的不同可以分为以下三类:⏹（1）间隔尺度变量：变量用连续的量来表示，如长度、重量、速度、温度等。

⏹（2）有序尺度变量：变量度量时不用明确的数量表示，而是用等级来表示，如某产品分为一等品、二等品、三等品等有次序关系。

⏹（3）名义尺度变量：变量用一些类表示，这些类之间既无等级关系也无数量关系，如性别、职业、产品的型号等。

设有n个样品(多元观测值)，每个样品测得p项指标(变量)，得到观测数据x（i=1,…,n；j=1,…,p），如表所示。