当前位置：文档之家 › 应用统计学课件第七章主成分分析-4版

应用统计学课件第七章主成分分析-4版

  • 格式：ppt
  • 大小：2.13 MB
  • 文档页数：69

下载文档原格式

  / 69

合集下载

主成分分析法PPT课件

主成分分析法PPT课件

6
3.832E-16
2.017E-15 100.000
7
3.351E-16
1.764E-15 100.000
8
2.595E-16
1.366E-15 100.000
000
10
1.683E-16
8.860E-16 100.000
11
7.026E-17
3.698E-16 100.000
• 因子分析是要利用少数几个公共因子去解释较多个要观测 变量中存在的复杂关系,它不是对原始变量的重新组合,而 是对原始变量进行分解,分解为公共因子与特殊因子两部分. 公共因子是由所有变量共同具有的少数几个因子；特殊因 子是每个原始变量独自具有的因子.
3、应用中的优缺点比较
• 主成分分析 优点：首先它利用降维技术用少数几个综合变量来代替 原始多个变量,这些综合变量集中了原始变量的大部分信 息.其次它通过计算综合主成分函数得分,对客观经济现象 进行科学评价.再次它在应用上侧重于信息贡献影响力综 合评价. 缺点：当主成分的因子负荷的符号有正有负时,综合评价 函数意义就不明确.命名清晰性低.
12
2.750E-19
1.447E-18 100.000
13
-7.503E-17 -3.949E-16 100.000
14
-1.291E-16 -6.794E-16 100.000
15
-1.742E-16 -9.168E-16 100.000
16
-2.417E-16 -1.272E-15 100.000
四、主成分分析法的步骤
1数据归一化处理：数据标准化Z 2计算相关系数矩阵R： 3计算特征值；
特征值越大说明重要程度越大.
4计算主成分贡献率及方差的累计贡献率； 5计算主成分载荷与特征向量：

主成分分析 ppt课件

主成分分析 ppt课件

ppt课件
19
Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩 作用之外，还具有不相关的性质，这就使得在研
究复杂的问题时避免了信息重叠所带来的虚假性。
二维平面上的个点的方差大部分都归结在Fl轴上， 而F2轴上的方差很小。Fl和F2称为原始变量x1和x2 的综合变量。F简化了系统结构，抓住了主要矛盾。
ppt课件
16
如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到 新坐标轴Fl和F2。Fl和F2是两个新变量。
ppt课件
17
根据旋转变换的公式：

y1 y1

x1 cos x2 sin x1 sin x2 cos
y1 cos sin x1 Ux y2 sin cos x2
• •
x1
解 释
•••
ppt课件
13
平移、旋转坐标轴
x2
F1
主 成 分 分 析 的 几 何 解 释
F2 •
•••
••••• ••
••••••••••
•••••••
••••••
•
x1
ppt课件
14
平移、旋转坐标轴 x2
F1
主 成 分 分 析 的 几 何 解
F2
•
• •• •
• •
•••
•••
• •• •••••••••••••••• ••••
ppt课件
11
平移、旋转坐标轴
x2
F1
主 成
F2
•• • • •
分 分 析 的 几 何
•• • •
•• •
•
• •
•••

《主成分分析》课件

《主成分分析》课件

投资组合优化
通过主成分分析，找到不同投 资标的之间的关系，优化投资 组合的效益。
主成分分析在市场调研中的应用
1
偏好分析
通过主成分分析，找到消费者的特征
产品定位
2
和偏好，精准制定相应的市场策略。
通过主成分分析，找到消费者对产品
的不同评价因素，合理确定产品的定
位。
3
竞品分析
通过主成分分析，评估竞争对手的优 势和劣势，为企业提供相应的决策依 据。
慕课在线学习行业民调
通过主成分分析，找到影响学 习者的因素，比如课程质量、 师资水平、学习难度等方面。
降水量分析和气候变化
通过主成分分析和时间序列分 析，找到影响气象预测和气候 变化的主要原因和特征。
食品市场调查分析
通过主成分分析，找到影响消 费者购买健康食品的因素，制 定相应的市场营销策略。
标准化数据
通过Z-score标准化数据，去除不同变 量的量纲影响。
提取主成分
根据协方差矩阵的特征值和特征向量， 提取主成分。
如何选择主成分数量
特征值
根据特征值大于1的原则，选择主成分的数量。
累计贡献率
当累计贡献率到达一定阈值后，选择主成分数量。
图形分析
通过屏幕图和贡献率图来选择主成分数量。
主成分分析的优点和缺点
应用
主成分分析适用于变量之间没有明确因果关系 的情况下，提取它们的主成分；而因子分析需 要基于理论或先验知识，对变量进行选择和定 量，发现变量间的潜在因子。
主成分分析在金融分析中的应用
股票指数分析
通过主成分分析，找到影响整 个股票市场的因素，快速判断 股票市场的健康状况。
信用卡违约风险评估
通过主成分分析，找到导致信 用卡违约的因素，提高信用卡 贷款的质量。

主成分分析PPT

主成分分析PPT


p

1

a1 u1,u2 ,
,
up


2


p
p
ia1uiuia1 1 a1uiuia1
i 1
i 1
1a1UUa1 1a1a1 1
u1


u2

a1

p

up

下面证明，由U的第一列元素所构成的原始变量的 线性组合有最大的方差。
设有P维单位向量 a1 a11, a21,
, a p1
y1 a11 x1 a21 x2 a p1 x p a1 x
1

D(
y1 )

a1a1

a1U

2





Ua1
主成分分析通常的做法，是寻求原指标的 线性组合yi：
y1 u11 x1 u21 x2 up1 x p y2 u12 x1 u22 x2 up2 x p
y p u1 p x1 u2 p x2
满足如下的条件：
upp x p
(1) 每个主成分的系数平方和为1（否则其方差可 能为无穷大），即
标。在实际工作中，主成分个数的选取通常有两个标准 一个是按累积贡献率达到一定的程度（如 70%或 80%
以上）来确定 m；另一个先计算协方差矩阵或相关矩阵
的特征值的均值 ，取大于 的特征值的个数作为 m.
大量实践表明，当 p 20时，第一个标准容易取太 多的主成分，第二个标准容易取太少的主成分，故最好 将两者结合起来使用，并考虑m 个主成分对 xi 的贡献率。

数理统计第七章第一节主成分分析

数理统计第七章第一节主成分分析

k
定义 第k个主成分Yk的贡献率为:
p
i
i 1
m
i
前m个主成分Y1,Y2,…,Ym的累计贡献率为:
i 1 p
i
i 1
在实际应用中,通常选取m<p,使前m个累计贡献率达到 一定的比例(80%～90%).这样用前m 个主成分代替原
来的变量X1,X2,…,Xp而不至于损失太多的信息,从而到
达减少变量个数的目的.
(ij ) pp E X E( X ) X E(X )T
设li=(l1i, l2i ,…, lpi )T(i=1,2,…,p)为p个常数向量,考虑如 下线性组合:
Y1 l1T X l11X1 l21X2
lp1X p,
Y2 l2T X l12X1 l22X2
l p 2X p ,
Yp lTp X l1pX1 l2pX2
eiT ei ,Yk ) eiT
i
, ek
i 1, 2, 0,i
, k.
p,
由此可知,求X的各主成分,等价于求∑的各个特征值 及其相应的正交单位化特征向量,按特征值由大到小
所对应的特征向量为组合系数的X1,X2,…,Xp的线性 组合分别为X的第一、第二、甚至第p个主成分,而各 主成分的方差等于相应的特征值.
2.主成分的计算方法
在实际问题中,一般∑(或ρ)是未知的,需要通过样本来
估计.设
S
(sij ) p p
1 n 1
n
( xk
k 1
x )(xk
x )T ,
R
(rij ) pp
sij siis jj
其中
x (x1, x2,
, xp )T ,
xi
1 n

应用统计学：主成分分析-4版

应用统计学：主成分分析-4版

上式的解就是R的特征根1>2>…>p ，其相应的特征向量 1、2、…p就是权重向量，权重向量与Xs相乘得到的向量 z1=Xs1、z2=Xs2、… zp=Xsp，就是Xs的主成分，且有：
var(z i )
μ i' Rμ i
μ i' iμ i
μ i'μ i
i
第i个主成分的方差就 是相应的特征根。因为 第一个特征根最大，所 以第一主成分方差最大
What does PCA do?
Original data matrix, say n by p
正交旋转 New data matrix, say n by q, with q < p：
例：研究55个国家运动员径赛 能力，用8项径赛成绩
-原始数据矩阵：x55×8 哪个国家运动员实力最强？
经PCA得到新数据阵： z55×2：选取2个主成分， 其中第一主成分表示综合 能力指标，第二主成分表 示短跑能力
售电量和利润：不同供电局在这两 个指标上的离散度都很大。忽略哪 Ma Xin, North China Electric Power University 个指标都会给评估带来较大偏误！
第一主成分：寻找原始数据的一个线性组合，使之具 有最大方差（数据离散度最大的方向） 1 2 第一主成分

Ma Xin, North China Electric Power University
所有主成分方差 之和解释了原始 数据全部方差
特征根和特征向量的求法
1 1 S , 1 3 1 1 1 0 S I (1 )(3 ) 1 0, 1 3 0 1
22. 00
20. 00

主成分分析简介课件

取值在0.5 ~ 1之间
4、如未收敛则回到步骤3
注：其中 k和 k 是两个待调整的参数；
函数g(y)的选择见参考文献[2]P68
逐次提取独立成分
—投影追踪方法
度量非正态性（非高斯性）：
可以认为，两个独立变量之和形成的分布比两 个原始变量中的任意一个都更接近于正态分布
由于Z是Y的线性组合，只要找到一个度 量非正态性的量，使达到最大，就可以 使Y中各分量独立性最大
所找到的矩阵起到将 Qz (M ) 对角化的作 用
基于四阶累积量的JADE法
步骤： 1、取一组矩阵 M i ， 由定义分别求 Qz (M i ) （矩阵的简单取法：取N*N个矩阵，分别
只有一个元素为1，或取一组对称/反对 称的基矩阵，引自[2]P53） 通过优化求解U，使各 Qz (M i ) 联合 对角化（使 (M i ) 中非对角元素的平方 和最小）
此法的矩阵集合可取为 Z [K ijkliikk ijkl (Z )]2
分解结果：
Aˆ W U , Bˆ Aˆ 1 U W , Y BX U WX
非线性PCA的自适应算法
以均方误差最小作为收敛判据， 非线性PCA引入非线性因素等效于考虑高
阶矩 算法具体步骤为： 1、对观测值求均值，用递归法求白化阵
—投影追踪方法
5、归一化： ui (k 1) ui (k 1) 2
ui (k 1)
如果 u p 未收敛，回到步骤3；
令p加1，当p<=m时，回到步骤3。
参考文献
[1] A.Hyvarinen等著，周宗潭等译，独 立成分分析，北京：电子工业出版社， 2007年
[2]杨福生、洪波著，独立分量分析的原 理与应用，北京：清华大学出版社， 2006年

主成分分析完整ppt课件

的系数向量。对于多维的情况，上面的结论依然成立。
这样，我们就对主成分分析的几何意义有了一个充分的了解。 主成分分析的过程无非就是坐标系旋转的过程，各主成分表达 式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐 标轴的方向就是原始数据变差最大的方向。
2021/6/12
1199
目录 上页 下页 返回 结束
其中，U为旋转变换矩阵，由上式可知它是正交阵， 即满足
U'U1 , U'UI
2021/6/12
1144
目录 上页 下页 返回 结束
§2 主成分分析的几何意义
经过这样的旋转之后，N个样品点在 Y 1 轴上的离散程度最
大，变量 Y 1 代表了原始数据绝大部分信息，这样，有时在研
究实际问题时，即使不考虑变量 Y 2 也无损大局。因此，经过
指标转化为几个综合指标的多元统计方法。通常把转化生成

的综合指标称之为主成分，其中每个主成分都是原始变量的
线性组合，且各个主成分之间互不相关，这就使得主成分比
原始变量具有某些更优越的性能。这样在研究复杂问题时就 可以只考虑少数几个主成分而不至于损失太多信息，从而更
容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时
上述旋转变换就可以把原始数据的信息集中到
Y
轴上，对数
1
据中包含的信息起到了浓缩的作用。进行主成分分析的目的
就是找出转换矩阵 U ，而进行主成分分析的作用与几何意义
也就很明了了。下面我们用遵从正态分布的变量进行分析，
以使主成分分析的几何意义更为明显。为方便，我们以二元
正态分布为例。对于多元正态总体的情况，有类似的结论。
1.每一个主成分都是各原始变量的线性组合；

【2024版】主成分分析PPT课件


协方差矩阵的对角线上的元素之和等于特征根 之和。
三、精度分析
1）贡献率：第i个主成分的方差在全部方差中所占
比重
i
p
i 1
i
，称为贡献率
，反映了原来P个指标多大
的信息，有多大的综合能力 。
2）累积贡献率：前k个主成分共有多大的综合能力， 用这k个主成分的方差和在全部方差中所占比重
k
p
i i
i1
主成分分析试图在力保数据信息丢失最少 的原则下，对这种多变量的截面数据表进行 最佳综合简化，也就是说，对高维变量空间 进行降维处理。
很显然，识辨系统在一个低维空间要比 在一个高维空间容易得多。
在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组合， 并且这几个线性组合所构成的综合指标将尽可能多 地保留原来指标变异方面的信息。这些综合指标就 称为主成分。要讨论的问题是：
四、原始变量与主成分之间的相关系数
Fj u1 j x1 u2 j x2 upj xp j 1,2,, m, m p
F UX UF X
x1 u11 u12 L u1p F1
x2
M
u21 M
u22 M
L
u2
p
F2
M M
x
p
u p1
up2
L
u
pp
Fp
Cov(xi , Fj ) Cov(ui1F1 ui2F2 L uipFp , Fj ) uij j
u11 u12 u1p
U
(u1
,,
up
)
u21
u22
u2
p
u p1
up2
u
pp

《主成分分析法》课件

目的
主成分分析法的目的是减少数据的维 度，同时保留数据中的主要信息，以 便更好地理解和分析数据。
历史与发展
1901年
由英国统计学家Karl Pearson提出主成分的概 念。
1933年
美国统计学家Harold Hotelling将主成分分析 法应用于心理学和教育学领域。
20世纪70年代
随着计算机技术的发展，主成分分析法在各个领域得到广泛应用。
04
主成分分析法的步骤
数据标准化
总结词
消除量纲和数量级对分析的影响
详细描述
在进行主成分分析之前，需要对数据进行标准化处理，即将各指标的均值调整为0，标准差调整为1， 以消除不同量纲和数量级对分析的影响。

计算相关系数矩阵
总结词
衡量变量间的相关性
VS
详细描述
通过计算原变量之间的相关系数矩阵，可 以了解各变量之间的相关性。相关系数矩 阵中的元素表示各指标之间的相关系数， 用于衡量变量间的线性关系。
详细描述
市场细分是主成分分析法在市场营销领域中的重要应 用。通过对市场数据进行主成分分析，可以提取出影 响市场需求的共同因素，进而将市场划分为不同的子 市场。这种分析方法有助于企业识别不同子市场的需 求特点、消费行为和竞争状况，为制定针对性的营销 策略提供依据。
实例二：客户分类
要点一
总结词
利用主成分分析法对客户进行分类，有助于企业更好地了 解客户群体特征，提高客户满意度和忠诚度。
01
数学模型
主成分分析通过线性变换将原始 变量转换为彼此独立的主成分， 这种变换是线性的。
变换矩阵
02
03
特征向量
线性变换需要一个变换矩阵，该 矩阵由原始变量和主成分之间的 系数构成。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2 4 2 0,S的特征值1 3.414，2 0.586
Sμi iμi
对1 3.414：11
1 11
3
21
3.414
11 21
11 21 11 321
3.41411 3.41421
11
0.414
，
21
21
1，11
0.414
1 3.414的特征向量：01.414
第七章 主成分分析
principle component analysis
PCA的基本思想 一般模型与算法 PCA的SPSS实现 PCA的应用
一、PCA的基本思想
Origins of PCA
Pearson (1901)
❖ 首先引入
Hotelling (1933)
❖ 发展成熟
One of the most widely used multivariate techniques.
What About the New Data?
Each new variable is some linear 综合了原指标 combination of all the old variables 的信息
New variables are chosen so as to capture most of the variability in the original variables.
-1
0
1
2
3
Z1
各国运动员100m和200m成绩， 计算下列变量方差：
30.00
X100m和X200m
28.00
0.707*X100m+0.707X200m
0.167*X100m+0.986X200m
26.00
24.00
run200m
Descriptiv e Statistics
22.00
run100m run200m p707 p167 Valid N (listwise)
提取方法 :主成分分析法。 构成得分。
z3s 1.575x1 0.688x2 1.171x3
Descriptiv e Statistics
z1 z2 z3 REGR factor score 1 for analysis 1 REGR factor score 2 for analysis 1 REGR factor score 3 for analysis 1 Valid N (listwise)
4.2681
M ea n -.00002 -.00002 -.00001
.0000 .0000 .0000 -.000027
Std. Deviation .999990 .999995
1.000012 1.43609 .83973 .48065
1.4298346
Va ri a n ce 1.000 1.000 1.000 2.062 .705 .231 2.044
x3
.398
-.710
1.171
三个主成分
z1 0.646x1 0.505x2 0.572x3 z2 0.095x1 0.797x2 0.596x3 z3 0.757x1 0.331x2 0.563x3
z1s 0.450x1 0.352x2 0.398x3 z2s 0.113x1 0.949x2 0.710x3
z1 0.646x1 0.505x2 0.572x3
向 0.505 量 0.572
0.797 0.596
0.331 U z2 0.095x1 0.797x2 0.596x3
0.563
z3 0.757x1 0.331x2 0.563x3
1 2.063 2 0.706 3 0.231
设:x为标准化变量, 原始数据阵 Xs [x1, x2 ,x p ] PCA目标：找到原始数据方差最大的线性组合
❖设：线性组合系数为p×1=[1, 2, … p]T
❖即:要找一个 使z=Xs= 1x1+ 2x2 +…+ pxp具有
最大方差
var(z)
1 z'z n 1
n
1 1
μ'
Xs'
Xsμ
1 n 1
❖ 反映原始数据特征的指标：方差-离散度
主成分：原始变量的最优加权线性组合
❖ 最优加权： ➢ 第一主成分：寻找原始数据的一个线性组合，使之具有最大方 差（数据离散度最大的方向）
➢ 第二主成分：寻找原始数据的一个线性组合，使之具有次大方 差，且与第一主成分无关
➢ ……
一个简单的两变量例
x2
2.0
1.5
p
i trace(U'RU) [trace( ABC) trace(BCA)]
i 1
trace(U'RU) trace(RUU' ) trace(R) p
所有主成分方差
之和解释了原始
数据全部方差
特征根和特征向量的求法
S
1 1
13,
S
I
1 1
1 3
1 0
0 1
(1 )(3 ) 1
0,
例数：据 三标Cor准relat化ion M变atrix量x1、x2、x3，n=300
X1
X2
X3
注意：这里主成
Correlation X1 X2
1.000 .562
.562 1.000
.704 .304
成得分是非标准化的
X3
.704
.304
1.000
特 1
2
3
三个主成分
征 0.646 0.095 0.757
z1
z2
z3
x1 .9279 .0798 .3641
x2 .7255 .6696 .1590
x3 .8222 .5008 .2706
三、PCA的SPSS实现
SPSS过程：
❖ 1）分析→数据降维→因子分析…(顺序点击 菜单项，打开因子对话框)。
❖ 2）在对话框中指定分析变量，如图1所示。
主成分分析用SPSS中的因子分析过程。
将各主成分得分 作为变量保存
注意：这里保存 的是标准化的主 成分，即Zs
显示因子（主成 分）系数矩阵
又：Zs ZΛ1 2 XsUΛ1/2
Zs
ZΛ1 2
z1
1
,
z2
,
,
zp
2
p
分析结果：
zis
成分得分系数矩阵
zi
i
成分
1
2
3
x1
.450
-.113
-1.575
x2
.352
.949
.688
Descriptiv e Statistics
N 300 300 300 300 300 300 300 300
M in i mu m -2.738 -2.803 -2.340 -3.58 -2.32 -1.35
-3.4689
M axim u m 3.031 3.033 3.056 4.33 2.23 1.56
c
j1
f ij2
变量共同度：载荷阵第i行前c个元素的平方和，反映了 前c个主成分对xi方差的解释程度
.72552+.66962=0.975:前两个主 成分揭示了x2方差的97.5%
从载荷阵可看出：z1与各x正相关，综 合评价；z2与x2正相关，与x3负相关， 反映样本在这两个指标方面的差距
principal componentloading
Conceptual Model
主成分 载荷阵
标准化的主成分Z与原始数据阵Xs的相关系 数矩阵，反映各主成分与原始变量x的相关
程度，有助于解释各主成分的含义。
F
corr(Xs , Zs )
n
1
1
Xs'Z
s
n
1
1
Xs'ZΛ
1
2
RUΛ1 2
UΛΛ1 2
Zs ZΛ1 2
F FUΛU1 Λ2 1 2 μ1 1 μ2 2 μp p
1.0
Zsc)ore(
.5
0.0
x1
-.5
利 润
-1.0
-1.5
-2.0 -1.5 -1.0 -.5
Zscore(售电量)
0.0
.5
1.0 1.5 2.0 2.5
售电量和利润：不同供电局在这两
个指标上的离散度都很大。忽略哪
个指标都会给评估带来较大偏误！
第一主成分：寻找原始数据的一个线性组合，使之具
有最大方差（数据离散度最大的方向）
2
1
第一主成分
1.00Βιβλιοθήκη 第二主成分利润 0.00
2.0
正交旋转，样品 间距离不变
2
s
-1.00
第一主成分-1.包00 含的信0.息00 量显然1.00 大于第二主成分，因而忽略s第 二主成分信息损失不大
售 电 量
Z2
1.0
0.0
1
-12..000
-2.0
-2
正交阵
设：U (μ1, μ2 ,μ p ) pp , Z (z1, z2 ,z p )np
则有：Z XsU,
1
var(Z) U'RU Λ
2
p
主成分得 分矩阵
由于各主成分彼此不相关，因此，所有主成分之和的方
差等于所有特征根之和，即：var(z1 z2 z p ) 1 2 p
New variables are uncorrelated! 原指标相关性很强， 新指标互不相关
The new variables are called “scores” or “principal components”