主成分分析方法

19.主成分分析法

一、方法介绍

基本思路：

主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。主成分分析的基本思想就是，设法将原来众多具有一定相关性的指标（比如P个指标），重新组合成一组新的相互无关的综合指标来代替原来指标。最经典的方法就是用F1的方差来表达，即 Var (F1)越大，表示F1包含的信息越多。

理论模型：

设有n个样品，每个样品观测p项指标（变量）：X1，X2，．．．，Ｘp，得到原始数据资料阵：

111121,,....pPnnpxxXXXXxx （1）

其中，123.....iiiixxXx i=1，．．．，p

用数据矩阵X的p个向量(即p个指标向量)X1，．．．，Xp作线形组合（即综合指标向量）为： 11112121212122221122pPpPPPPpPPFaXaXaXFaXaXaXFaXaXaX （2）

简写成

1122iiipiPFaXaXaX i=1，．．．，p （3）

（注意：Xi是n维向量，所以Fi也是n维向量。）

上述方程要求：

121iipiaaa i=1,．．．，p （4）

且系数aij由下列原则决定：

（1）Fi与Fj（i≠j，i，j=1，…，p）不相关；

（2）F1是X1，．．．，Ｘp的一切线性组合（系数满足上述方程组）中方差最大的，F2是与F1不相关的X1，．．．，Ｘp的一切线性组合中方差最大的，…，Fp是与其他都不相关的X1，．．．，Ｘp的一切线性组合中方差最大的。

作业二：投资效益排序

下表是我国1984—2000 年宏观投资的一些数据，试利用主成分分析对投资效益进行分析和排序。

表1 1984—2000年宏观投资效益主要指标

年份

投资效果系数

（无时滞） 投资效果系数

（时滞一年） 全社会固定资

产交付使用率 建设项目

投产率 基建房屋

竣工率

1984 0.71 0.49 0.41 0.51 0.46

1985 0.40 0.49 0.44 0.57 0.50

1986 0.55 0.56 0.48 0.53 0.49

1987 0.62 0.93 0.38 0.53 0.47

1988 0.45 0.42 0.41 0.54 0.47

1989 0.36 0.37 0.46 0.54 0.48

1990 0.55 0.68 0.42 0.54 0.46

1991 0.62 0.90 0.38 0.56 0.46

1992 0.61 0.99 0.33 0.57 0.43

1993 0.71 0.93 0.35 0.66 0.44

1994 0.59 0.69 0.36 0.57 0.48

1995 0.41 0.47 0.40 0.54 0.48

1996 0.26 0.29 0.43 0.57 0.48

1997 0.14 0.16 0.43 0.55 0.47

1998 0.12 0.13 0.45 0.59 0.54

1999 0.22 0.25 0.44 0.58 0.52

2000 0.71 0.49 0.41 0.51 0.46

主成分分析的基本原理及优点

主成分分析方法也被称为主分量分析,一个对象往往是多要素的复杂系统，而太多的变量无疑会增加分析问题的难度和复杂性，利用原变量之间的相互关系，用较小的新变量代替原来较多的变量，利用降维的思想,把多指标转化为少数几个综合指标。在实证问题研究中,为了全面、系统地分析问题,我们必须考虑众多指标,在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息,并且变量之间彼此有一定的相关性,因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时,变量太多会增加计算量和增加分析问题的复杂性,人们希望在进行定量分析的过程中,涉及的变量较少,得到的信息量较多。

主成分分析是适应这一要求产生的一种数学变换方法,它把给定的一组相关变量通过线性变换转成另一组不相关的变量,这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变,使第一变量具有最大的方差,称为第一主成分,第二变量的方差次大,并且和第一变量不相关,称为第二主成分,依次类推。主成分在方差贡献率中的比例越大,它在综合评价中的作用就越大。当前k个主成分的方差累积贡献率超过85%,可认为这k个主成分可以反映足够的信息量,可以用来解决实证问题[7]。

主成分分析的目的是通过分析原来较多可观察指标所反映的个体信息，提取出较少的几项综合性指标，它们互不相干，并且能最大限度的反映出原来较多指标所反映的信息，进而用较少的几项综合性指标来刻画个体。

因子分析法：在各个领域的科学研究中往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为科学研究提供丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在大多数情况下，许多变量之间可能存在相关性而增加了问题分析的复杂性。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息，而综合指标之间彼此不相关，即各指标代表的信息不重叠。这样就可以对综合指标根据专业知识和指标所反映的独特含义给予命名。这种分析方法称为因子分析，代表各类信息的综合指标就称为因子或主成份。根据因子分析的目的我们知道，综合指标应该比原始变量少，但包含的信息量应该相对损失较少。所谓因子分析法可以看成是主成分分析的推广，它也是多元统计分析中常用的一种降维方式。因子分析就是通过研究各被测变数相互间的关系)寻找出其间存在的一种新的概括性的.+让人容易理解和掌握的关系属性)更通俗直接的说法叫做-因子.,在因子分析法中)相对-因子.而言还存在着因子负荷量。

主成分分析法

主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。依次类推，I个变量就有I个主成分。其中Li为p维正交化向量（Li＊Li＝1），Zi之间互不相关且按照方差由大到小排列，则称Zi为X的第I个主成分。

10

本词条 无基本信息模块, 欢迎各位 编辑词条，额外获取10个积分。

目录

1 基本定义

2 分析目的

3 分析步骤

4 因子旋转

5 应用问题

1 基本定义

主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。依次类推，I个变量就有I个主成分。

其中Li为p维正交化向量（Li＊Li＝1），Zi之间互不相关且按照方差由大到小排列，则称Zi为X的第I个主成分。设X的协方差矩阵为Σ，则Σ必为半正定对称矩阵，求特征值λi（按从大到小排序）及其特征向量，可以证明，λi所对应的正交化特征向量，即为第I个主成分Zi所对应的系数向量Li，而Zi的方差贡献率定义为λi／Σλj,通常要求提取的主成分的k满足Σλk／Σλj>0.85。

2 分析目的

是希望用较少的变量去解释原来资料中的大部分变量，将我们手中许多相关性很高的变量转化成彼此相互独立或不相关的变量。通常是选出比原始变量个数少，能解释大部分资料中变量的几个新变量，即所谓主成分，并用以解释资料的综合性指标。由此可见，主成分分析实际上是一种降维方法。

3 分析步骤

数据标准化;

求相关系数矩阵;

一系列正交变换，使非对角线上的数置0，加到主对角上;