主成分分析PPT

第五章 主成分分析与经验正交分解

5.1 主分量分析的数学模型

当存在若干个随机变量时，寻求它们的少量线性组合（即主成分），用以解释这些随机

变量，是很必要的。首先我们看一个例子。

几个数据集

1、

（1） 身材情况能否用单个指标刻画

（2） 男女身材之间有什么异同

chest waist hips gender chest waist hips gender

34 30 32 male 36 24 35 female

37 32 37 male 36 25 37 female

38 30 36 male 34 24 37 female

36 33 39 male 33 22 34 female

38 29 33 male 36 26 38 female

43 32 38 male 37 26 37 female

40 33 42 male 34 25 38 female

38 30 40 male 36 26 37 female

40 30 37 male 38 28 40 female

41 32 39 male 35 23 35 female

2、

subject maths english history geography chemistry physics

1 60 70 75 58 53 42

2 80 65 66 75 70 76

3 53 60 50 48 45 43 4 85 79 71 77 68 79

5 45 80 80 84 44 46

3、

air pollution in cities in the USA. The following variables were obtained for 1 US cities:

SO2: SO2 content of air in micrograms per cubic metre;

temp: average annual temperature in degrees Fahrenheit;

引言：

主成分分析也称主分量分析，是由霍特林于 1933 年首先提出的。主成分分 析是利用降维的思想， 在损失很少信息的前提下， 把多个指标转化为几个综合指 标的多元统计方法。 通常把转化生成的综合指标称为主成分， 其中每个主成分都 是原始变量的线性组合， 且各个主成分之间互不相关， 使得主成分比原始变量具 有某些更优越的性能。 这样在研究复杂问题时就可以只考虑少数几个主成分而不 至于损失太多信息，从而更容易抓住主要矛盾， 揭示事物内部变量之间的规律性， 同时使得问题得到简化，提高分析效率。本文用主成分分析的方法对某市 14 家 企业的经济效益进行分析。 [1] 在处理涉及多个指标问题的时候， 为了提高分析的效率可以不直接对 p 个指标构

成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行 线性变换，形成少数几个新的综合变量， 使得个综合变量之间相互独立且能解释 原始变量尽可能多的信息， 这样在意损失很少部分信息为代价的前提下， 达到简 化数据结构，提高分析效率的目的。

主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的， 从而简化问题的复杂性并抓住问题的主要矛盾。而这里对于随机变量 X1， X2，

X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间

的相关程度的信息的反映， 而相关矩阵不过是将原始变量标准化后的协方差矩阵 我们所说的保留原始变量尽可能多的信息， 也就是指生成的较少的综合变量 (主 成分)的方差和尽可能接近原始变量方差的总和。 因此在实际求解主成分的时候， 总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。 一般来说从原始变量 的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是 不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。 [5] 一、 材料与方法

1.1数据材料

表1 14 家企业的利润指标的统计数据

WORD格式可以任意编辑

专业资料整理分享

一、主成分分析基本原理

概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。

思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。

原理：假定有

n个样本，每个样本共有

p个变量，构成一个

n×p阶的数据

矩阵，

x11

x12

x1p

x21

x22

x2p

X

xn1

xn2

xnp

记原变量指标为 x1，x2，,，xp，设它们降维处理后的综合指标，即新变量

为 z1，z2，z3，,，zm(m≤p)，则

z1 l11x1 l12x2 l1pxp

z2 l21x1 l22x2 l2pxp

............

zm lm1x1 lm2x2 lmpxp

系数lij的确定原则：

①zi 与zj （i≠j；i，j=1，2，,，m）相互无关；

②z 是x

1 ，x，,，x 的一切线性组合中方差最大者，z 是与z 不相关的x ，x，,，

1 2P 2 1 1 2

xP的所有线性组合中方差最大者； zm是与z1，z2，,,， zm－1都不相关的x1，

x，,x

P ，的所有线性组合中方差最大者。

2

新变量指标z1，z2，,，zm分别称为原变量指标 x1，x2，,，xP的第1，第2，,，

第m主成分。

从以上的分析可以看出，主成分分析的实质就是确定原来变量 xj（j=1，

2 ，,，p）在诸主成分zi（i=1，2，,，m）上的荷载lij（i=1，2，,，m；

j=1，2，,，p）。 WORD格式可以任意编辑

１９６ §8.3 主成分分析结果的解释和图示

8.3.1 用少数几个主成分的变化来近似代替原来多个变量的变化

由主成分分析的数学模型可知，原变量m~,,~,~21可以用主成分m,,,21表示，即有

mmmmmmmuuuu1111111~~ ，

用矩阵形式表示，就是 TmmU][]~~[11 。

相应地，原变量数据矩阵X~与主成分得分阵Y之间，也有这样的关系：

TYUX~。

设 ][1myyY，其中jy是由主成分j的观测值组成的向量，并设][1muuU，就有

TYUX~TmTmuuyy11][TmmTuyuy11。

另一方面，由于主成分的样本协方差矩阵

YYnT1mTmTmmTTmTmTyynyynyynyynyyyyn1111][1111111m1 。

所以，主成分j的样本方差 jjTjyyn1，mj,,2,1。

如果有一个特征值 0j，则有 jjTjyyn10，由代数知识可知，这时必有jy0，即主成分j的观测值都等于0。

所以，如果存在mk0，使得01mk，即除了前k个特征值以外，后面km个特征值都等于0。这时必有01mkyy，即后面km个主成分的观测值都等于0。因此有

X~TmmTkkTuyuyuy11TkkTuyuy11， １９７ 即原来m个变量的观测数据，只用前k个主成分，就可以完全精确地表示出来了。这样，就达到了用较少主成分来代替原来多个变量的目的。

在实际问题中，不一定有01mk，但常常会遇到后面km个特征值都很小，近似等于0的情况。这时我们可以近似认为后面km个主成分的观测值都等于0，因此有