主成分分析实例和含义讲解.ppt

关性越高，则总信息量越小
2019/11/19
3
谁更重要？
历史成绩 数学成绩
N Mean
4 92.00 4 77.50
Variance
8.667 337.667
2019/11/19
4
A1 A2 A3 B1 B2 B3
2019/11/19
两组变量: A B
Descriptiv e Statistics
2019/11/19
17
主成分的概念 1
• 设x1,x2,…xp为 p 维随机变量 X1,X2,…,Xp
的标准化变换 xi ( X i X i ) / Si
如果其线性组合
C1 a11x1 a12 x2 ... a1p xp
满足
a121 a122 ... a12p 1,且使Var(C1)最大， 则称C1为第一主成分。
1

rik sik / siiskk ;i 1,2,, p;k 1,2,, p;i k
2019/11/19
10
矩阵的特征值和特征向量
• 对于方阵A，如存在常数λ及非零向量x， 使
Ax= λx 则λ为A的一个特征值，x为与λ对应的矩 阵A的特征向量。
n介方阵有n对特征值和特征向量






















2019/11/19












ቤተ መጻሕፍቲ ባይዱ

•• •
•
• • •• •
•• • •
•
•
•• •
•• •
•• • • • • •
•
•• •
•
•
•
• ••
• • ••
•
•• • •
•
•• •
•• •
•
x1
释
ห้องสมุดไป่ตู้
•
••
• •
•
18
上面的四张图中，哪一种有更高的 精度？原始变量的信息损失最少？
19
旋转变换的目的是为了使得n个样品点在 Fl轴方向上的离 散程度最大，即Fl的方差最大。 变量Fl代表了原始数据的绝大 部分信息，在研 究某经济问题时，即使不考虑变量F2也无损大 局。经过上述旋转变换原始数据的大部分信息 集中到Fl轴上，对数据中包含的信息起到了浓 缩作用。
则，对p维向量a2 ，有 V (F2 ) a2a2
31
p
ia2uiuia2
i1
p
p
i (a2ui )2 2 (a2ui )2
i1
i2
p
2 a2uiuia2
i1
2a2UUa2 2a2a2 2
所以如果取线性变换，F2 u12 X1 u22 X 2 u p2 X p

V
(F1)

a1a1

a1U

2




Ua1


p

1

a1 u1,u2 ,
,
up


2


u1

u2

假定有n个样本，每个样本共有p个变量， 构成一个n×p阶的地理数据矩阵
x11
X
x21
xn1
x12 x1 p
x22
x2
p
xn 2
xnp
（1）
ppt课件
20
当p较大时，在p维空间中考察问题比较麻烦。 为了克服这一困难，就需要进行降维处理，即用 较少的几个综合指标代替原来较多的变量指标， 而且使这些较少的综合指标既能尽量多地反映原 来较多变量指标所反映的信息，同时它们之间又 是彼此独立的。
2 141.503 1.684 24.301 1752.35 452.26 32.314
14.464 1.455 27.066
3 100.695 1.067 65.601 1181.54 270.12 18.266
0.162
7.474 12.489
4 143.739 1.336 33.205 1436.12 354.26 17.486
k1
k1
ppt课件
（4）
25
（二）计算特征值与特征向量：
① 解特征方程 I R 0 ，常用雅可比法 （Jacobi）求出特征值，并使其按大小顺序排
列 12 ,p0；
②
分别求出对应于特征值
的特征向量
i
ei(i1 ,2, ,p)，要求 e i =1，即
，
p
其中 e表i2j 示1向量 的e i第j j个分量。e i
ppt课件
23
从以上的分析可以看出，主成分分析的
实质就是确定原来变量xj（j=1，2 ，…， p） 在诸主成分zi（i=1，2，…，m）上的荷载 lij （ i=1，2，…，m； j=1，2 ，…，p）。
从数学上容易知道，从数学上可以证明，

则一定可以找到正交阵U，使
1 0
UAU
0
2
0
0
0
0
p
PP
第22页/共52页
上述矩阵的特征根所对应的单位特征向量为 u1,,up
则U为
u11 u12 u1p
U
(u1
,,
up
)
u21
u22
u2
p
u p1
up2
u
pp
实对称阵A属于不同特征根所对应的特征向量是正交的，即有
UU UU I
2
•
• •• •
• • ••• ••• • •• •••••••••••••••• ••••
•• •
•
• • •• •
•• • •
•
•
•• •
•• •
•• • • • • •
•• •
•
•
•
•
• ••
• • ••
•
••
• •
•
•• •
•• •
•
x1
•
••
• •
•
第15页/共52页
上面的四张图中，哪一种有更高 的精度？原始变量的信息损失最少？
COV(X，X)=D(X)， COV(aX，bY)=abCOV(X，Y)，
COV(X1+X2，Y)=COV(X1,Y)+COV(X2，Y)
第35页/共52页
§4 主成分的性质
一、均值 E(Ux) U
二、方差为所有特征根之和
p
Var
i 1
(
Fi
)
1
2
p
2 1
2 2
2 p

X
x21
x22
x2
p
xn1
xn 2
xnp
❖ 当p较大时，在p维空间中考察问题比较麻烦。 为了克服这一困难，就需要进行降维处理. 要求：较少的几个综合指标尽量多地反映原来较 多变量指标所反映的信息，同时它们之间又是彼 此独立的
例，成绩数据
❖ 100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
p
lk2j 1, (k 1,2,, m)
j 1
Rlk lk (R E)lk 0
计算主成分贡献率及累计贡献率
▲贡献率:
k
p
i
(k 1,2,, p)
i 1
▲累计贡献率:
k
p
j1 j / i1 i
一般取累计贡献率达85—95%的特征值 1, 2 ,, m 所对应的第一、第二、…、第m（m≤p）个主成分
6
6
样方
1
物种X1 1
物种X2 5
2 3 4 5 6 总和 2 0 2 -4 -1 0 2 1 0 -4 -4 0
种X2
X2
12
10
8
6
4
2
0
0
1
2
3
4
5
6
7
种X1
6 5 4 3 2 1 0 -5 -4 -3 -2 -1-1 0 1 2 3 4 5 6 -2 -3 -4 -5
X1
中心化后的原始数据矩阵
X
1 5
2 2
0 1
2 0
4 4
1 4
❖ 把坐标轴X1、 X2刚性地旋转 一个角度，得
到图中新坐标
轴Y1和Y2
X2
6

协方差矩阵的对角线上的元素之和等于特征根 之和。
三、精度分析
1）贡献率：第i个主成分的方差在全部方差中所占
比重
i
p
i 1
i
，称为贡献率
，反映了原来P个指标多大
的信息，有多大的综合能力 。
2）累积贡献率：前k个主成分共有多大的综合能力， 用这k个主成分的方差和在全部方差中所占比重
k
p
i i
i1
主成分分析试图在力保数据信息丢失最少 的原则下，对这种多变量的截面数据表进行 最佳综合简化，也就是说，对高维变量空间 进行降维处理。
很显然，识辨系统在一个低维空间要比 在一个高维空间容易得多。
在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合， 并且这几个线性组合所构成的综合指标将尽可能多 地保留原来指标变异方面的信息。这些综合指标就 称为主成分。要讨论的问题是：
四、原始变量与主成分之间的相关系数
Fj u1 j x1 u2 j x2 upj xp j 1,2,, m, m p
F UX UF X
x1 u11 u12 L u1p F1
x2
M
u21 M
u22 M
L
u2
p
F2
M M
x
p
u p1
up2
L
u
pp
Fp
Cov(xi , Fj ) Cov(ui1F1 ui2F2 L uipFp , Fj ) uij j
u11 u12 u1p
U
(u1
,,
up
)
u21
u22
u2
p
u p1
up2
u
pp

第5节 主成分分析
❖主成分分析的基本原理 ❖主成分分析的解法 ❖主成分分析方法应用实例
1
整体概述
概况一
点击此处输入相关文本内容 点击此处输入相关文本内容
概况二
点击此处输入相关文本内容 点击此处输入相关文本内容
概况三
点击此处输入相关文本内容 点击此处输入相关文本内容
2
问题的提出
❖ 地理系统是多要素的复杂系统。在地理学研究中，多变量 问题是经常会遇到的。变量太多，无疑会增加分析问题的 难度与复杂性，而且在许多实际问题中，多个变量之间是 具有一定的相关关系的。
❖ 那么这个椭圆有一个长轴和一个短轴。在短轴方向上， 数据变化很少；在极端的情况，短轴如果退化成一点， 那只有在长轴的方向才能够解释这些点的变化了；这样， 由二维到一维的降维就自然完成了。
6
❖ 当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就 描述了数据的主要变化，而代表短轴的变量就描述了数 据的次要变化。
y13 y23
y14 y24
y15 y25
y16 y26
c so in c sio n s x x 1 21 1x x 1 22 2x x 1 23 3x x 1 24 4x x 1 25 5x x 1 2 6 6
UX
❖ U是坐标旋转的变换矩阵，它是正交矩阵，有UT=U-1，即 UUT=I（I为单位矩阵）
❖ 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需 要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆 的长短轴平行。
❖ 如果长轴变量代表了数据包含的大部分信息，就用该变 量代替原先的两个变量（舍去次要的一维），降维就完 成了。
❖ 椭圆（球）的长短轴相差得越大，降维也越有道理。
7

a. Rotation converged in 3 iterations.
22
• 这x文6来个）表表，示说hism明toa六rtyh（个（历变数史量学）和），因，e子pnhg的ylis关s（h（系物英。理语为））简，等单ch变记em量，（。我化这们学样用）因x1，,子xli2ft,1e和xr3a,ft2x（与4,语这x5, 些原变量之间的关系是（注意，和主成分分析不同，这里把成分（因 子）写在方程的右边，把原变量写在左边；但相应的系数还是主成分 和各个变量的线性相关系数，也称为因子载荷）：
• 那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在 极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些 点的变化了；这样，由二维到一维的降维就自然完成了。
6
4
2
0
-2
-4
-4
-2
0
2
4
7
椭球的长短轴
• 当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主 要变化，而代表短轴的变量就描述了数据的次要变化。
11
主成分分析的数学
• 要寻找方差最大的方向。即使得向量X的线性组合a’X的方差
最大的方向a. • 而Var(a’X)=a’Cov(X)a;由于Cov(X)未知；于是用X的样本相
关阵R来近似.因此，要寻找向量a使得a’Ra最大(注意相关阵 和协方差阵差一个常数 • 记得相关阵和特征值问题吗?回顾一下吧! • 选择几个主成分呢?要看“贡献率.”
16
•可以把第一和第二主成分的载荷点出一个二维图以直 观地显示它们如何解释原来的变量的。这个图叫做载荷 图。
17
Component Plot
1.0
cphheyms

6 .130 -.119 -.003 .002 .016 -.016
c1
c2

c3

c4

c5

c6
3 -.184 -.162 .718 -.455 .379 -.101
4 -.164 -.252 .296 .323 -.302 .217
Extraction Method: Principal Component Analysis.
a. 6 components extracted.
5 .079 .106 .121 .088 -.109 -.264
7
A1 A2 A3
B1 B2 B3
2019/9/6
Correlations
A1 1
.335 .046
A2 .335
1 .056
A3 .046 .056
1
Correlations
B1
B2
B3
1
.996
.249
.996
1
.258
.249
.258
1
8
协方差矩阵
样本的方差-协方差矩阵（variance-covariance matrix)
sik
ski

1 n 1
j
( xij xi )(xkj xk )
i k; i 1,2,, p; k 1,2,, p
2019/9/6
9
相关矩阵
如果有p个观测变量 x1, x2 ,, x p ，其相 关阵（correlation matrix）记为
1 r12 r1 p
身高 坐高 胸围 肩宽 骨盆宽 体重