主成分分析就是将多项指标转化为少数几项综合指标,用综合指标来解释多变量的方差-
协方差结构.综合指标即为主成分.所得出的少数几个主成分,要尽可能多地保留原始变量的信息,且彼此不相关.
因子分析是研究如何以最少的信息丢失,将众多原始变量浓缩成少数几个因子变量,以及如何使因子变量具有较强的可解释性的一种多元统计分析方法.
聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构,并且对每一个数据集进行描述的过程.其主要依据是聚到同一个数据集中的样本应该彼此相似,而属于不同组的样本应该足够不相似.
三种分析方法既有区别也有联系,本文力图将三者的异同进行比较,并举例说明三者在实际应用中的联系,以期为更好地利用这些高级统计方法为研究所用有所裨益.
二、基本思想的异同
(一) 共同点
主成分分析法和因子分析法都是用少数的几个变量(因子) 来综合反映原始变量(因子) 的主要信息,变量虽然较原始变量少,但所包含的信息量却占原始信息的85 %以上,所以即使用少数的几个新变量,可信度也很高,也可以有效地解释问题.并且新的变量彼此间互不相关,消除了多重共线性.这两种分析法得出的新变量,并不是原始变量筛选后剩余的变量.在主成分分析中,最终确定的新变量是原始变量的线性组合,如原始变量为x1 ,x2 ,. . . ,x3 ,经过坐标变换,将原有的p个相关变量xi 作线性变换,每个主成分都是由原有p 个变量线性组合得到.在诸多主成分Zi 中,Z1 在方差中占的比重最大,说明它综合原有变量的能力最强,越往后主成分在方差中的比重也小,综合原信息的能力越弱.因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系,它不是对原始变量的重新组合,而是对原始变量进行分解,分解为公共因子与特殊因子两部分.公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子.对新产生的主成分变量及因子变量计算其得分,就可以将主成分得分或因子得分代替原始变量进行进一步的分析,因为主成分变量及因子变量比原始变量少了许多,所以起到了降维的作用,为我们处理数据降低了难度.
分类号 密 级
U D C 编 号1 0 4 8 6
武汉大学
硕士学位论文
主成分分析、因子分析和聚类
分析的比较与应用
研 究 生 姓 名：杨 武
学 号：200722010063
指导教师姓名、职称：冯 慧 教 授
学 科 、专 业 名称：计 算 数 学
研 究 方 向：数值分析及其应用
二零零九 年 五 月 日
The comparison and application of
principal component analysis, factor
analysis and cluster analysis
Yang wu
郑 重 声 明
本人的学位论文是在导师指导下独立撰写并完成的，学位论文没有剽窃、抄
袭、造假等违反学术道德、学术规范和侵权行为，否则,本人愿意承担由此而产
生的法律责任和法律后果，特此郑重声明。
学位论文作者（签名）：
年 月 日
I摘 要
主成分分析就是将多项指标转化为少数几项不相关的综合指标，在尽量保留
原始信息的基础上用综合指标来解释多变量的方差-协方差结构；因子分析是研
究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何
使因子变量具有较强的解释性的一种多元统计方法；聚类分析是依据数据本身所
具有的定性或定量的特征来对数据分组归类以了解数据集的内在结构，并且对每
个数据集进行描述的过程。它们在数据分析中有着广泛的应用。
本文主要作了如下的工作：
（1）介绍了主成分分析、因子分析和聚类分析的基本理论及应用过程、步骤；
（2）应用以上三种方法作一具体的实例分析，通过分析结果的对比，指出主成
分分析中的综合评价函数使用的局限性；
（3）在实例分析的过程当中及结束语中，对主成分分析、因子分析及聚类分析
的区别和联系给出了笔者的见解。
关键词：主成分分析 因子分析 聚类分析 综合评价函数 得分
IIABSTRACT
Principal component analysis translated Multi-indicators into some un related
主成分分析、因子分析步骤
不同点 主成分分析 因子分析
概念 具有相关关系的p个变量，经过线性组合后成为k个不相关的新变量 将原数据中多个可能相关的变量综合成少数几个不相关的可反映原始变量的绝大多数信息的综合变量
主要
目标 减少变量个数，以较少的主成分来解释原有变量间的大部分变异，适合于数据简化 找寻变量间的内部相关性及潜在的共同因素，适合做数据结构检测
强调
重点 强调的是解释数据变异的能力，以方差为导向，使方差达到最大 强调的是变量之间的相关性，以协方差为导向，关心每个变量与其他变量共同享有部分的大小
最终结果应用 形成一个或数个总指标变量 反映变量间潜在或观察不到的因素
变异解释程度 它将所有的变量的变异都考虑在内，因而没有误差项 只考虑每一题与其他题目共同享有的变异，因而有误差项，叫独特因素
是否需要旋转 主成分分析作综合指标用，
不需要旋转 因子分析需要经过旋转才能对因子作命名与解释
是否有假设 只是对数据作变换，故不需要假设 因子分析对资料要求需符合许多假设，如果假设条件不符，则因子分析的结果将受到质疑
因子分析
1 【分析】→【降维】→【因子分析】
（1）描述性统计量（Descriptives）对话框设置
KMO和Bartlett的球形度检验（检验多变量正态性和原始变量是否适合作因子分析）。
（2）因子抽取（Extraction）对话框设置
方法：默认主成分法。主成分分析一定要选主成分法
分析：主成分分析：相关性矩阵。
输出：为旋转的因子图
抽取：默认选1.
最大收敛性迭代次数：默认25.
（3）因子旋转（Rotation）对话框设置
因子旋转的方法，常选择“最大方差法”。“输出”框中的“旋转解”。
（4）因子得分（Scores）对话框设置
“保存为变量”，则可将新建立的因子得分储存至数据文件中，并产生新的变量名称。
（5）选项（Options）对话框设置
2 结果分析
（1）KMO及Bartlett’s检验
主成分分析与因子分析及SPSS实现（一）：原理与方法
一、主成分分析
（1）问题提出
在问题研究中，为了不遗漏和准确起见，往往会面面俱到，取得大量的指标
来进行分析。比如为了研究某种疾病的影响因素，我们可能会收集患者的人口学
资料、病史、体征、化验检查等等数十项指标。如果将这些指标直接纳入多元统
计分析，不仅会使模型变得复杂不稳定，而且还有可能因为变量之间的多重共线
性引起较大的误差。有没有一种办法能对信息进行浓缩，减少变量的个数，同时
消除多重共线性？
这时，主成分分析隆重登场。
（2）主成分分析的原理
主成分分析的本质是坐标的旋转变换，将原始的n个变量进行重新的线性
组合，生成n个新的变量，他们之间互不相关，称为n个“成分”。同时按照
方差最大化的原则，保证第一个成分的方差最大，然后依次递减。这n个成分
是按照方差从大到小排列的，其中前m个成分可能就包含了原始变量的大部分
方差（及变异信息）。那么这m个成分就成为原始变量的“主成分”，他们包
含了原始变量的大部分信息。
注意得到的主成分不是原始变量筛选后的剩余变量，而是原始变量经过重新
组合后的“综合变量”。
我们以最简单的二维数据来直观的解释主成分分析的原理。假设现在有两个
变量X1、X2，在坐标上画出散点图如下：
可见，他们之间存在相关关系，如果我们将坐标轴整体逆时针旋转45°，变
成新的坐标系Y1、Y2，如下图：
根据坐标变化的原理，我们可以算出：
Y1 = sqrt(2)/2 * X1 + sqrt(2)/2 * X2
Y2 = sqrt(2)/2 * X1 - sqrt(2)/2 * X2
其中sqrt(x)为x的平方根。
通过对X1、X2的重新进行线性组合，得到了两个新的变量Y1、Y2。
此时，Y1、Y2变得不再相关，而且Y1方向变异（方差）较大，Y2方向的
变异（方差）较小，这时我们可以提取Y1作为X1、X2的主成分，参与后续的
统计分析，因为它携带了原始变量的大部分信息。
至此我们解决了两个问题：降维和消除共线性。
