第十二章 主成分分析

看这n个点的分量X1和X2，它们沿着x1方向和x2方向都具有 较 方大的离散性，其离散的程度可以分别用的X1方差和X2的
差 在测定。如果仅考虑X1或X2中的任何一个分量，那么包含
另一分量中的信息将会损失，因此，直接舍弃某个分量 不是“降维”的有效办法。
图6.1 主成分的几何意义
如 标果 系我y1们Oy将2 ，该这坐里标y系1 是按椭逆圆时的针长方轴向方旋向转，某y2个是角椭度圆的变短成轴新方坐向。
主要内容
主成分分析的基本思想 主成分分析的基本理论 主成分分析的几何意义 主成分的性质
引言
例子
如何评价一个学生在大学期间的表现
◦ 课程考试成绩 ◦ 社会工作 ◦ 科研
为了尽可能全面地评价，我们会引入很 多变量，目的是通过这些变量将学生的 差异显示出来
最终需要提供一种方法能够简单地概括 学生的特点和相对排名
所以
p
p
i ii
i 1
i 1
p
p
或 D(Yi ) D( X i )
i 1
i 1
性质 3 主成分 Yk 与原始变量 X i 的相关系数为
(6.20） (6.21）
(Yk , Xi )
k ii
tki
并称之为因子负荷量（或因子载荷量）。
(6.22）
证明：事实上
(Yk , Xi )
Cov(Yk , Xi ) Cov(TkX, eiX)
◦ 另条一线种，是第椭 一圆 主扁 成平 分到 包了 含极 有限二，维变空成间点y1轴的上全的部一信 息，仅用这一个综合变量代替原始数据不会有 任何的信息损失，此时的主成分分析效果是非 常理想的，其原因是，第二主成分不包含任何 信息，舍弃它当然没有信息损失。

主成分分析类型：一种处理高维数据的方法。

降维思想：在实际问题的研究中，往往会涉及众多有关的变量。

但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。

一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。

因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。

一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。

记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。

设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。

1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 1.3 总体主成分的性质1.3.1 主成分的协方差矩阵及总方差记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=由此得主成分的总方差为111()()()()(),p ppTTiii i i i Var Y tr P P tr PP tr Var X λ=====∑=∑=∑=∑∑∑即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差1()pii Var X =∑分解成 p 个互不相关变量 Y 1，Y 2，…，Y p 的方差之和，即1()pii Var Y =∑而 ()k k Var Y λ=。

a1m fm 1 a2m fm 2
因子分析(m<p)
xp ap1 f1 ap2 f2 apm fm p
f1 11x1 12 x2 1p xp f2 21x1 22 x2 2 p xp
因子得分
fm m1x1 m2 x2 mp xp
20
因子分析的数学
• 因子分析需要许多假定才能够解. 具体来说.
10
主成分之选取
• 正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变 量，就有几个主成分。
• 选择越少的主成分，降维就越好。什么是标准呢？那就是这些被 选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。 有些文献建议，所选的主轴总长度占所有主轴长度之和的大约 85%即可，其实，这只是一个大体的说法；具体选几个，要看实 际情况而定。
11
主成分分析的数学
• 要寻找方差最大的方向。即使得向量X的线性组合a’X的方差
最大的方向a. • 而Var(a’X)=a’Cov(X)a;由于Cov(X)未知；于是用X的样本相关
阵R来近似.因此，要寻找向量a使得a’Ra最大(注意相关阵和协 方差阵差一个常数 • 记得相关阵和特征值问题吗?回顾一下吧! • 选择几个主成分呢?要看“贡献率.”
• 本章就介绍两种把变量维数降低以便于描述、理解和分析的方法：主成
分 分 析 （ principal component analysis ） 和 因 子 分 析 （ factor
analysis）。实际上主成分分析可以说是因子分析的一个特例。在引进
主成分分析之前，先看下面的例子。
3
成绩数据（student.sav）
0
2
4
9
主轴和主成分

主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。

主要是从协方差矩阵出发，实现一种正交变换，从而将高维系统表示为低维系统，在此过程中可以揭示研究对象的许多性质和特征。

主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。

只要懂得线性代数中二次型化为标准型的原理，就很容易掌握主成分分析的原理，进而掌握因子分析的原理。

在理解正交变换数学原理的基础上，我们可以借助Excel 开展主成分分析。

为了清楚地说明主成分的计算过程，不妨给出一个简单的计算实例。

【例】2000 年中国各地区的城、乡人口的主成分分析。

这个例子只有两个变量（m=2）：城镇人口和乡村人口；31 个样品：即中国的31 个省、自治区和直辖市（n=31）。

资料来自2001 年《中国统计年鉴》，为2000 年全国人口普查快速汇总的11 月1 日零时数。

由于变量太少，这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。

计算步骤5.1.1 详细的计算过程首先，录入数据，并对数据进行适当处理（图5-1-1）。

计算的详细过程如下。

第一步，将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。

如果所有变量彼此之间不相关（即正交），则没有必要进行主成分分析，因为主成分分析的目的就是用正交的变量代替原来非正交的变量。

如果原始变量之间为非线性关系，则有必要对数据进行线性转换，否则效果不佳。

从图5-1-2 可见，原始数据具有非线性相关趋势，可以近似匹配幂指数函数，且测定系数R2=0.5157，相应地，相关系数R=0.7181（图5-1-2a）；取对数之后，点列具有明显的线性趋势（图5-1-2b）。

第二步，对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析，因此只对取对数后的数据标准化。

根据图5-1-1所示的数据排列，应该按列标准化，用xij 代表取对数之后的数据，则下式分别为第j 列数据的均值和标准差，xij 为第i 行（即第i 个样本）、第j 列（即第j 个变量）的数据，xij*为相应于xij 的标准化数据，n=31 为样品数目（参见图5-1-1）。