第七章主成分分析

yp t p x t p
其中T t1 , t 2 ,
, t p tik 是正交矩阵。
x Ty
y1 t11
y t
2 12


y p t1 p
t2 p
t p1 x1
t p 2 x2
达到最大。第i主成分为
yi t1i x1 t2i x2
t pi x p tix , i 1, 2,
,p
主成分的几何意义
❖
在几何上，ti表明了第i主成分的方向，yi是x在ti上的
投影值（其绝对值即为投影长度），λi是这些值的
方差，它反映了在ti上投影点的分散程度。
x投影到ti上的值
y1
y2
⋯
yp
x1
t11
t12
⋯
t1p
x2
t21
t22
⋯
t2p
⋮
⋮
⋮
xp
tp1
tp 2
⋮
⋯
tpp
正交变换 y T x 的几何意义
❖
正交变换 y T x 的几何意义是将Rp中由x1,x2, ⋯,xp构
成的原p维坐标轴作一正交旋转，一组正交单位向量
t1,t2, ⋯,tp表明了p个新坐标轴的方向，这些新坐标轴
第七章 主成分分析
❖ §7.1
引言
❖ §7.2 总体的主成分
❖ §7.3 样本的主成分
§7.1 引言
主成分分析（或称主分量分析，principal component
analysis）由皮尔逊（Pearson,1901）首先引入，后
来被霍特林（Hotelling,1933）发展了。

第七章主成分分析（一）教学目的通过本章的学习，对主成分分析从总体上有一个清晰地认识，理解主成分分析的基本思想和数学模型，掌握用主成分分析方法解决实际问题的能力。

（二）基本要求了解主成分分析的基本思想，几何解释，理解主成分分析的数学模型，掌握主成分分析方法的主要步骤。

（三）教学要点1、主成分分析基本思想，数学模型，几何解释2、主成分分析的计算步骤及应用（四）教学时数3课时（五）教学内容1、主成分分析的原理及模型2、主成分的导出及主成分分析步骤在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。

由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。

如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。

第 - 213 - 页第一节 主成分分析的原理及模型一、主成分分析的基本思想及数学模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。

这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。

通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。

因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。

如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求0),(21 F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。

a1 a1 a1 a1 1
（1）
欲使方程组(3)有非零解，其充要条件是 I 0 是协方差阵 的特征根。又由 由此可见， a (2)式知，欲使 1 a1 的值最大，就是要 的 值最大。也就是说， 应取为 的最大的特 征根 1 。再由(1)式知，我们所要求的 a1 ， 应该是 的最大的特征根 1所对应的单位化 特征向量。这样，我们就求得第一个综合 指标 ( a1 a1 1) y1 a1 X ， 并称y1为第一个主成分。
a1 X , , a k X
就分别是第一，…，第k个主成分。
由于协方差阵 是对称阵，根据线性代数知，
的不同特征根所对应的特征向量是正交的。 所以，如果上面求得的k个特征根全不相同 时，则它们所对应的特征向量a1 ,… ak ,是相 互正交的，于是有 cov(ai X , a j X ) ai a j ai j a j j ai a j 0 这表明上面所求得的主成分y1,…,yk之间互 不相关。
y1,…,yq既能充分反映原来p个指标x1,…,xp所反
映的信息，又能使这q个综合指标之间互不相关。
首先，考虑第一个综合指标y1如何求得。它应该
是由原来p个指标x1,…,xp综合而成的，通常将其 取为原来p个指标的线性组合： y1 a1 X a11 x1 a1 p x p 其中a1 (a11 ,, a1 p ) ，是一个p维非零常向量。我
即 a2 也是协方差阵 的特征根所对应的单 位化特征向量。
a 2 a 2 1
为了使y2的方差尽量地大，自然a2 应为 的仅次于 1第二大特征根2 所对应的单位化 特征向量。这样，我们也求得了第二个综 合指标

沿着xl轴方向或x2轴方向都具有较大的离散性，其离散 的程度可以分别用观测变量xl的方差和x2的方差定量地 表示。显然，如果只考虑xl和x2中的任何一个，那么包 含在原始数据中的经济信息将会有较大的损失。
• 如果我们将xl 轴和x2轴先平移，再同时 按逆时针方向旋转角度，得到新坐标轴Fl和 F2。Fl和F2是两个新变量。
• 如果变量分组较有规则，则从特征向量各 分量数值作出组内组间对比分析。
主成分分析的一般步骤
6. 解释各个主成分的含义 7. 进行其他分析
利用SPSS进行主成分分析的步骤
1. 指标数据的标准化。
可以利用“Descriptive statistics” 中的“Descriptives”进行标准化。
这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi。其中, Xi 是经过标准化后的变量。
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4. 确 定 主 成 分 Fi 的 表 达 式 ： 将 表 “Component Matrix”(初始因子载荷 阵)中的第i列向量除以第i个特征根的平方 根，得到第i个主成分Fi的变量系数向量。
5. 对主成分Fi进行解释。
• x1：数学 • x2：物理 • x3：化学 • x4：语文 • x5：历史 • x6：英语
满足如下的条件：
每个主成分的系数平方和为1。即
u2 1i
u2 2i
u
2 pi
1
主成分之间相互独立，即无重叠的信息。即
Cov（Fi，Fj） 0，i j，i，j 1， 2， ，p 主成分的方差依次递减，重要性依次递减，即