第十二章：主成分分析2013

一. 从协方差矩阵出发求解主成分 设 X=(x1,x2,…,xp )´是一个p 维随机向量，∑表示X的协方差矩阵 (covariance matrix )，表达式为：
Cov(x,x)=Var（X）
cov( x1, x2 ) var( x1 ) cov( x x ) var( x2 ) 2, 1 Σ = Cov( x , x ) = L L cov( x p, x1 ) cov( x p, x2 )
Au 1 = λ 1 u 1
Ø 结论：若对称矩阵A为正定矩阵(positive definite matrix)，则有： （1）|A| >0 （2）A 所有的特征根都大于等于0
2
第十二章 主成分分析Principal Component Analysis（PCA）
§12．1 主成分分析的基本思想
The basic idea of principal component analysis 在经济实证问题的研究中，要考虑许多对某经济过程有影响的因素 （称为指标或变量）。这时产生了这样的问题，一方面为了避免遗漏重要 的信息而考虑尽可能多的指标；另一方面随指标的增多既增加了问题的复 杂性，还造成信息的重叠，可能会抹杀了事物的真正的特征和内在的规律 性。为了解决这个问题，即产生了主成分分析的方法。 Ø主成分分析的基本思想 经济问题涉及的众多变量之间有一定的相关性，就必然存在着起支 配作用的共同因素。主成分分析就是根据这一点，通过对原始变量相关 矩阵内部结构关系的研究，找出影响某一经济过程的几个综合指标（主 成分）。
由上述原则可知，y1在总方差中占的比重最大，其余综合变量 y2,y3,…,yp的方差依次递减。 在具体经济分析时，我们只挑选前几个方差最大的主成分进行分 析，这样可以简化系统结构、抓住问题实质进行分析。
7
§12．3 主成分的求解方法及性质
The solving method of principal component and properties 主成分分析的思想是在保留原始变量尽可能多的信息的前题下达 到降维的目的. 而求解主成分的过程就是求出满足三个原则的原始变 量的线性组合的过程. 对于随机变量X1,X2,…Xp而言,其协方差矩阵或相关矩阵(原始变 量标准化后的协方差矩阵)是对各变量的离散程度及变量之间的相关 程度的反映. 保留原始信息就是要求生成的综合变量的方差尽可能多的接近原 始变量的方差总和. 一般从原始变量出发求得的主成分与从相关矩阵 出发求得的主成分是有差异的,下面分别就这两个不同的情况进行讨 论.
杜志渊
线性代数知识回顾 Linear Algebra Knowledge Review
Ø 定义：设向量(vector) α=（α1, α2,...α n），β=（β1, β 2...βn） ，则 向量α和β内积的为: α·β = α 1β 1+ α 2 β 2+……+ α n β n 如果两个向量的内积为0，那么它们互相称为正交向量( Orthogonal vector) 。 如果向量α的模长为1，则称α为单位向量。
y 1 = u′ 1x,
y 2 = u ′2 x
L , y p = u′ px Nhomakorabea根据Ｕ´∑Ｕ＝（λ）以及Yi之间相互独立的条件，得出：
var( y i ) = ui′ ∑ ui = λ i cov( y i , y j ) = ui′ ∑ u j = 0
i = 1, 2 , L , p i≠ j
sin θ x 1 = U ′x cos θ x2
cosθ U = sin θ
− sin θ cosθ
U ′ = U − 1 , U ′U = I
其中，U为正交矩阵，满足
X2 Y2
Y1
X1
旋转变换使得 样品点在Y1轴 方向上的离散 程度最大，即 Y1 的方差最 大。 在研究某 经济问题时， 即使不考虑变 量Y2也无损大 局。另外，Y1. Y2还具有不相 关（正交）的 性质 .
Ø 结论：设A为实对称矩阵 ，则存在正交矩阵U，使得：
0 0 λ2 ; AU = U λ M M 0 λn λ i ( i = 1 , 2 , L , n ) 称作矩阵 A 的特征根。 0 L L L L λ1 U ′AU = λ = M 0
u 11 u 12 U = (u 1 , u 2 , L , u n ) u1 = M u 1n 则 u1 就是 λ 1的正交特征向量。
第i个主成分yi 的向量表达式是 ： 方差： 协方差：
y i = u′ iX,
i = 1, 2 , L , p
′ ′ cov y i , y j = cov u′ i x , u j x = u i ∑ u j ; i ≠ j;
′ var( y i ) = var( u i′ x ) = u′ i var( x ) u i = u i ∑ u i ;
C的取值可以 任意大
因此，按照上述公式，Y的方差可以任意大。为避免上述情况发 生，对线性变换U必须作出相应的规定。
确定系数 uij的原则：Principle:
u u
u′ k uk = 1
k = 1,2, L, p
yi与yj (i≠j; i,j=1,2, …,p)互不相关 。
u y1是 x1 , x 2 , L , x p 的一切线性组合中方差最大者；y2是与y1不相 关的 所有 x1 , x2 ,L , x p 线性组合中方差最大者；…; yp是与y1, y2, …,yp-1都不相关的 x1 , x 2 , L , x p 的所有线性组合中方差最大者。
3
§12．2 主成分的几何意义与一般数学模型
The geometric meaning of principal components and the general mathematical model
一、主成分的几何意义
The geometric meaning of principal components
(
)
(
)
现在我们所要的问题转化为：在新变量y1, y2,…yp相互独立的条 件下，要求ui使得Var(yi)达到最大。 即在ui´ui =1的限制条件下，使 得ui´x的方差尽可能地大。问题是：满足条件的U是否存在？
根据矩阵代数理论，若∑是正定的，可以证明：协方差阵Σ的非0特 征根λ1≥λ2≥…≥λp >0所对应的单位化的特征向量 u1, u2, …,up, 分 别作为系数向量可以满足以上的要求。 令U =( u1 u2 … up) , 则有 Ｕ´∑Ｕ＝（λ） 其中（λ）是个对角矩阵．因此，记 Y =U´X，则Y的分量可记为：
6
i X 的方 差尽可能大, 线性变换后 Y i = u ′ 则可以得到：
var( Yi ) = var( ui′ X ) = ui′ var( X ) ui = u′ i Σui
若取Yi=Cui´X，C为任一不为0的常数，则有：
var(Yi ) = var(cui′ X ) = c 2 ui′Σui
L cov( x1, x p ) L cov( x2, x p ) = σ ij L L L var( x p )
( )
协方差矩阵的性质：当A，B为常数矩阵时，由定义推出：
1 .Var ( AX ) = AVar ( X ) A ′ = A Σ A ′ 2 .Cov ( AX , BY ) = ACov ( X , Y ) B ′
2 2 α = α 12 + α 2 + L+ αn =1
Ø 定义：如果一个方阵U满足： UU′= U′U =I 其中I单位矩阵，则称U为正交矩阵(orthogonal matrix)。
1
Ø 定义：若A是线性空间中的线性变换对应的矩阵， λ是一个实数，若 存在一个非零向量ξ，满足等式 A ξ= λ ξ，或(A- λI)ξ=0 则称λ为A的一个特征值（根）(eigenvalue)，ξ称为A的属于特征值λ的 一个特征向量。上式有非零解的充要条件|A-λI|=0 . 记f(λ)=|λI-A|， f(λ)叫A的特征多项式，其根叫做A的特征根 （值）。对称矩阵的特征根都为实数。 Ø 若A是实对称矩阵(real symmetric matrix)， 则A的不同的特征值 对应的特征向量必正交。
3. 设X为p维向量，它的期望值为µ，协方差为∑，A为p×p矩 阵，则： E ( X ′AX ) = tr ( A Σ ) + µ ′A µ
8
经过线性变换
′X y1 = u11 x1 + u21 x2 + L + u p1 x p = u1 ′X y2 = u12 x1 + u22 x2 + L + u p 2 x p = u2 Y = U ′X = L L L L L L y p = u1 p x1 + u2 p x2 + L + u pp x p = u′p X
在涉及多个指标的问题时，为了提高分析效率,不直接对P个指标 构成的指标向量X(X1，X2，…Xp)进行分析, 而是对X进行线性变换, 形成少数几个综合变量Y. 这个变换过程可以通过在二维空间中讨论主 成分的几何意义得到诠释。 设在二维空间中每个样品有两个观测变量x1和x2，如果由变量 和所确定的二维平面中，n个样本点所散布的情况如带状. 即两个变 量之间具有一定的相关性.
将二维空间点的描述用Y1这个综合变量来代替，所损失的信息最 小，由此Y1称为第一主成分， Y2为第二主成分。若忽略Y2方向上的经 济信息，且损失的信息并不多。这样，二维空间降为一维空间了。
5
二、主成分分析的基本理论
The basic theory of principal component analysis 经济研究中经常见到的是关于n个样品(企业、年份)，p个变量(经 济指标、因素) X1X2 … Xp ( n >p )的问题，设随机向量X的均值为µ, 协 方差为∑.经原始统计资料整理的原始数据矩阵为：