主成分分析（PCA）是多元统计分析中用来分析数据的一种方法，它是用一种较少数量的特征对样本进行描述以达到降低特征空间维数的方法，它的本质实际上是K-L变换。PCA方法最著名的应用应该是在人脸识别中特征提取及数据维，我们知道输入200*200大小的人脸图像，单单提取它的灰度值作为原始特征，则这个原始特征将达到40000维，这给后面分类器的处理将带来极大的难度。著名的人脸识别Eigenface 算法就是采用PCA算法，用一个低维子空间描述人脸图像，同时用保存了识别所需要的信息。下面先介绍下PCA算法的本质K- L变换。
1、K-L变换（卡洛南-洛伊（Karhunen-Loeve）变换）：最优正交变换
一种常用的特征提取方法；
最小均方误差意义下的最优正交变换；
在消除模式特征之间的相关性、突出差异性方面有最优的效果。离散K-L变换：对向量x（可以想象成M维=width*height 的人脸图像原始特征）用确定的完备正交归一向量系u j展开：
这个公式由来我想应该是任一n维欧式空间V均存在正交基，利用施密特正交化过程即可构建这个正交基。
现在我们希望用d个有限项来估计向量x，公式如下：
计算该估计的均方误差如下：
要使用均方误差最小，我们采用Langrange乘子法进行求解：
因此，当满足上式时，
取得最小值。
即相关矩阵R的d个特征向量（对应d个特征值从大到小排列）为基向量来展开向量x时，其均方误差最小，为：
因此，K-L变换定义：当取矩阵R的d个最大特征值对应的特征向量来展开x时，其截断均方误差最小。这d个特征向量组成的正交坐标系称作x所在的D维空间的d维K-L变换坐标系，x在K-L坐标系上的展开系数向量y称作x的K-L变换。
总结下，K-L变换的方法：对相关矩阵R的特征值由大到小进行排队，
则均方误差最小的x近似于：
矩阵形式：
上式两边乘以U的转置，得
向量y就是变换（降维）后的系数向量，在人脸识别Eigenface算法中就是用系数向量y代替原始特征向量x进行识别。
下面，我们来看看相关矩阵R到底是什么样子。
因此，我们可以看出相关矩阵R是一个实对称矩阵（或者严谨的讲叫正规矩阵），正规矩阵有什么特点呢学过《矩阵分析》的朋友应该知道：若矩阵R是一个实对称矩阵，则必定存在正交矩阵U，使得R相似于对角形矩阵，即：
因此，我们可以得出这样一个结论：
降维后的系数向量y的相关矩阵是对角矩阵，即通过K-L变换消除原有向量x的各分量间的相关性，从而有可能去掉那些带有较少信息的分量以达到降低特征维数的目的。
2、主成分分析（PCA)
主成分分析（PCA）的原理就是将一个高维向量x,通过一个特殊的特征向量矩阵U，投影到一个低维的向量空间中，表征为一个低维向量y，并且仅仅损失了一些次要信息。也就是说，通过低维表征的向量和特征向量矩阵，可以基本重构出所对应的原始高维向量。
在人脸识别中，特征向量矩阵U称为特征脸（eigenface）空间，因此其中的特征向量u i进行量化后可以看出人脸轮廓，在下面的实验中可以看出。
以人脸识别为例，说明下PCA的应用。
设有N个人脸训练样本，每个样本由其像素灰度值组成一个向量x i，则样本图像的像素点数即为x i的维数，M=width*height ，由向量构成的训练样本集为
。
该样本集的平均向量为：
平均向量又叫平均脸。
样本集的协方差矩阵为：
求出协方差矩阵的特征向量u i和对应的特征值
，这些特征向量组成的矩阵U就是人脸空间的正交基底，用它们的线性组合可以重构出样本中任意的人脸图像，（如果有朋友不太理解这句话的意思，请看下面的总结2。）并且图像信息集中在特征值大的特征向量中，即使丢弃特征值小的向量也不会影响图像质量。
将协方差矩阵的特征值按大到小排序：
。由大于
的
对应的特征向量构成主成分，主成分构成的变换矩阵为：
这样每一幅人脸图像都可以投影到
构成的特征脸子空间中，U的维数为M×d。有了这样一个降维的子空间，任何一幅人脸图像都可以向其作投影
，即并获得一组坐标系数，即低维向量y，维数d×1,为称为KL分解系数。这组系数表明了图像在子空间的位置，从而可以作为人脸识别的依据。有朋友可能不太理解，第一部分讲K-L变换的时候，求的是相关矩阵
的特征向量和特征值，这里怎么求的是协方差矩阵
其实协方差矩阵也是：
，可以看出其实
用代替x就成了相关矩阵R，相当于原始样本向量都减去个平均向量，实质上还是一样的，协方差矩阵也是实对称矩阵。
总结下：
1、在人脸识别过程中，对输入的一个测试样本x，求出它与平均脸的偏差
，则
在特征脸空间U的投影，可以表示为系数向量y：
U的维数为M×d，
的维数为M×1，y的维数d×1。若M为200*200=40000维，取200个主成分，即200个特征向量，则最后投影的系数向量y维数降维200维。
2、根据1中的式子，可以得出：
这里的x就是根据投影系数向量y重构出的人脸图像，丢失了部分图像信息，但不会影响图像质量。
利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是 最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1） 在（3.5.3）式中，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2） 因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。
② 计算特征值与特征向量 首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求 出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其 中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为 ),,2,1(1 p i p k k i =∑=λ λ 累计贡献率为 ) ,,2,1(11 p i p k k i k k =∑∑==λ λ 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷 其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3）
1?设随机向量X= (X i , X 2, X 3)T 的协方差与相关系数矩阵分别为 1 4 ，R 4 25 分别从，R 出发，求X 的各主成分以及各主成分的贡献率并比较差异况。 解答： >> S=[1 4;4 25]; >> [P C,vary,ex plain ed]=p cacov(S); 总体主成分分析： >> [P C,vary,ex plain ed]=p cacov(S) 主成分交换矩阵： PC = -0.1602 -0.9871 -0.9871 0.1602 主成分方差向量： vary = 25.6491 0.3509 各主成分贡献率向量 explained = 98.6504 1.3496 则由程序输出结果得出，X 的主成分为: Y 1=-0.1602X 1-0.9871X 2 Y 2=-0.9871X 1+0.1602X 2 两个主成分的贡献率分别为：98.6504%, 1.3496%;贝U 若用第一个主成分代替原 来的变量，信息损失率仅为1.3496，是很小的。 2.根据安徽省2007年各地市经济指标数据，见表 5.2，求解： (1) 利用主成分分析对17个地市的经济发展进行分析，给出排名; (2) 此时能否只用第一主成分进行排名？为什么？ 1 0.8 0.8 1
1.0000 0.9877 0.9980 0.9510 0.9988 0.9820 0.4281 0.9999 解答： (1) >> clear >> A=[491.70,380.31,158.39,121.54,22.74,439.65,344.44,17.43; 21.12,30.55,6.40,12.40,3.31,21.17,17.71,2.03; 1.71, 2.35,0.57,0.68,0.13,1.48,1.36,-0.03; 9.83,9.05,3.13,3.43,0.64,8.76,7.81,0.54; 64.06,77.86,20.63,30.37,5.96,63.57,52.15,4.71; 30.38,46.90,9.19,9.83,17.87,28.24,21.90,3.80; 31.20,70.07,8.93,18.88,33.05,31.17,26.50,2.84; 79.18,62.09,20.78,24.47,3.51,71.29,59.07,6.78; 47.81,40.14,17.50,9.52,4.14,45.70,34.73,4.47; 104.69,78.95,29.61,25.96,5.39,98.08,84.81,3.81; 21.07,17.83,6.21,6.22,1.90,20.24,16.46,1.09; 214.19,146.78,65.16,41.62,4.39,194.98,171.98,11.05; 31.16,27.56,8.80,9.44,1.47,28.83,25.22,1.05; 12.76,14.16,3.66,4.07,1.57,11.95,10.24,0.73; 6.45,5.37,2.39,2.20,0.40,5.97,4.79,0.52; 39.43,44.60,15.17,15.72,3.27,36.03,27.87,3.48; 5.02,3.62,1.63,1.42,0.53,4.45,4.04,0.02]; 得到的相关系数矩阵为： >> R=corrcoef(A) R =
主成分分析的操作过程 原始数据如下（部分） 调用因子分析模块（Analyze―Dimension Reduction―Factor），将需要参与分析的各个原始变量放入变量框，如下图所示： 单击Descriptives按钮，打开Descriptives次对话框，勾选KMO and Bartlett’s test of sphericity选项（Initial solution选项为系统默认勾选的，保持默认即可），如下图所示，然后点击Continue按钮，回到主对话框： 其他的次对话框都保持不变（此时在Extract次对话框中，SPSS已经默认将提取公因子的方法设置为主成分分析法），在主对话框中点OK按钮，执行因子分析，得到的主要结果如下面几张表。 ①KMO和Bartlett球形检验结果： KMO为0.635>0.6，说明数据适合做因子分析；Bartlett球形检验的显着性P值为 0.000<0.05，亦说明数据适合做因子分析。 ②公因子方差表，其展示了变量的共同度，Extraction下面各个共同度的值都大于0.5，说明提取的主成分对于原始变量的解释程度比较高。本表在主成分分析中用处不大，此处列出来仅供参考。 ③总方差分解表如下表。由下表可以看出，提取了特征值大于1的两个主成分，两个主成分的方差贡献率分别是55.449%和29.771%，累积方差贡献率是85.220%；两个特征值分别是3.327和1.786。 ④因子截荷矩阵如下： 根据数理统计的相关知识，主成分分析的变换矩阵亦即主成分载荷矩阵U与因子载荷矩阵A以及特征值λ的数学关系如下面这个公式： 故可以由这二者通过计算变量来求得主成分载荷矩阵U。 新建一个SPSS数据文件，将因子载荷矩阵中的各个载荷值复制进去，如下图所示： 计算变量（Transform-Compute Variables）的公式分别如下二张图所示： 计算变量得到的两个特征向量U1和U2如下图所示（U1和U2合起来就是主成分载荷矩阵）：所以可以得到两个主成分Y1和Y2的表达式如下： Y1＝0.456X1+0.401X2+0.428X3+0.490X4+0.380X5+0.253X6 Y2＝-0.367X1+0.322X2-0.323X3-0.303X4+0.453X5+0.602X6 由上面两个表达式，可以通过计算变量来得到Y1、Y2的值。需要注意的是，在计算变量之前，需要对原始变量进行标准化处理，上述Y1、Y2表达式中的X1~X9应为各原始变量的标准分，而不是原始值。（另外需注意，本操作需要在SPSS原始文件中来进行，而不是主成分载荷矩阵的那个SPSS数据表中。） 调用描述统计：描述模块（Analyze－Descriptive Statistics－Descriptives），将各个原始变量放入变量框，并勾选Save standardized values as variables框，如下图所示： 得到各个原始变量的标准分如下图（部分）： Z人均GDP即为X1，Z固定资产投资即为X2，其余类推。 调用计算变量模块（Transform－Compute Variables），输入公式如下图所示： 计算出来的主成分Y1、Y2如下图所示：
§10.利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是 最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1） 在（，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2） 因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。 ② 计算特征值与特征向量
首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求 出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其 中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为 累计贡献率为 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷 其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3） 得到各主成分的载荷以后，还可以按照（，得到各主成分的得分 ? ? ??? ???????=nm n n m m z z z z z z z z z Z 2 1 22221 11211 （4） 2.程序结构及函数作用 在软件Matlab 中实现主成分分析可以采取两种方式实现：一是通过编程来
主成分分析法(PCA) 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析法(PCA)模型 （一）主成分分析的基本思想 主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求 0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。 （二）主成分分析的数学模型 对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为： ??????? ??=np n n p p x x x x x x x x x X 21 222 21112 11()p x x x ,,21=
spss进行主成分分析及得分分析 1 将数据录入spss 1. 2 数据标准化：打开数据后选择分析→描述统计→描述，对数据进行标准化，选中将标准化得分另存为变量： 2.3 进行主成分分析：选择分析→降维→因子分析，
3.4设置描述性，抽取，得分和选项：
4.5 查看主成分分析和分析： 相关矩阵表明，各项指标之间具有强相关性。比如指标GDP总量与财政收入、固定资产投资总额、第二产业增加值、第三产业增加值、工业增加值的相关系数较大。这说明他们之间指标信息之间存在重叠，适合采用主成分分析法。（下表非完整呈现）
5.6 由Total Variance Explained（主成分特征根和贡献率）可知，特征根λ1=9.092，特征根λ2=1.150前两个主成分的累计方差贡献率达93.107%，即涵盖了大部分信息。这表明前两个主成分能够代表最初的11个指标来分析河南各个城市经济综合实力的发展水平，故提取前两个指标即可。主成分，分别记作F1、F2。 6.7
指标X1、X2、X3、X4、X5、X6、X7、X8、X9、X10在第一主成分上有较高载荷，相关性强。第一主成分集中反映了总体的经济总量。X11在第二主成分上有较高载荷，相关性强。第二主成分反映了人均的经济量水平。但是要注意： 这个主成分载荷矩阵并不是主成分的特征向量，也就是说并不是主成分1和主成分2的系数，主成分系数的求法是：各自主成分载荷向量除以各自主成分特征值的算术平方根。
7.8 成分得分系数矩阵（因子得分系数）列出了强两个特征根对应的特征向量，即各主要成分解析表达式中的标准化变量的系数向量。故各主要成分解析表达式分别为：F1=0.32ZX11+0.33ZX12+0.31ZX13+0.31ZX14+0.32ZX15+0.32ZX16+0.32ZX17+0.32ZX18+0. 32ZX19+0.21ZX110+0.15ZX111 F2=8.46ZX21+0.02ZX22-0.02ZX23-0.20ZX24-0.23Z25-0.04ZX26-0.15ZX27-0.02ZX28+0.10Z X29+0.47ZX210+0.78ZX211 8.9 主成分的得分是相应的因子得分乘以相应的方差的算术平方根。即：主成分1得分=因子1得分乘以9.092的算术平方根主成分2得分=因子2得分乘以1.150的算术平方根例如郑州：主成分因子=FAC1_1*9.092的算术平方根=3.59386*9.092的算术平方根=10.83，将各指标的标准化数据带入个主成分解析表达式中，分别计算出2个主成分得分（F1、F2），再以个主成分的贡献率为全书对主成分得分进行加权平均，即：H=（82.672*F1+10.497*F2）/93.124，求得主成分综合得分。
重金属多组分分析的研究现状 近年来，随着科技的进步，单组分重金属的检测技术已经非常成熟，但是在实际污染体系中重金属离子种类繁多，且它们之间往往存在相互干扰，传统的化学分析方法和化学分析仪器难以一次性精确的检测出各个重金属离子的浓度，需要对共存组分进行同时测定。 对共存组分进行同时测定，传统的化学分析方法是首先通过加入各种掩蔽剂进行组分的预分离，然后采用单组分重金属检测技术进行分析检测。这种方法的分离过程往往冗长繁琐，实验条件苛刻，费时费力，而且检测精度低，无法应用于污染现场的检测。 随着计算机科学技术、光谱学和化学信息学的发展，复杂体系的多组分分析已成为当今光谱技术的研究热点，应用范围涉及环境监测、石油化工、高分子化工、食品工业和制药工业等领域，而且需求日益显著。由于多重金属离子共存时会产生重金属离子间的相互作用，因此在用化学分析仪器检测时会产生相干数据干扰，对实验结果产生影响，为了使测试结果更加准确，需要在实验的基础上建立数学模型，用于数据处理，消除各重金属离子共存时产生的相干数据干扰。近年来，引入化学计量学手段，用“数学分离”部分代替复杂的“化学分离”，从而达到重金属离子的快速、简便分析测定[1]。 化学计量学是一门通过统计学或数学方法将对化学体系的测量值与体系的状态之间建立联系的学科，它应用数学、统计学和其他方法和手段（包括计算机）选择最优试验设计和测量方法，并通过对测量数据的处理和解析，最大限度地获取有关物质系统的成分、结构及其他相关信息。目前，已有许多化学计量学方法从不同程度和不同方面解决了分析化学中多组分同时测定的问题，如偏最小二乘法（PLS）、主成分回归法（PCR）、Kalman滤波法、多元线性回归（MLR）等，这些方法减少了分离的麻烦，并使试验更加科学合理。 (1) 光谱预处理技术 这些方法用来降噪、消除无关信息。 ①主成分分析法 在处理多元样本数据时，假设总体为X=（x1,x1,x3…xn），其中每个xi （i=1,2,3,…n）为要考察的数量指标，在实践中常常遇到的情况是这n个指标之间存在着相关关系。如果能从这n个指标中构造出k个互不相关的所谓综合指标（k Matlab编程实现主成分分析 .程序结构及函数作用 在软件Matlab中实现主成分分析可以采取两种方式实现：一是通过编程来实现；二是直接调用Matlab种自带程序实现。下面主要主要介绍利用Matlab的矩阵计算功能编程实现主成分分析。 1程序结构 2函数作用 Cwstd.m——用总和标准化法标准化矩阵 Cwfac.m——计算相关系数矩阵；计算特征值和特征向量；对主成分进行排序；计算各特征值贡献率；挑选主成分（累计贡献率大于85%），输出主成分个数；计算主成分载荷 Cwscore.m——计算各主成分得分、综合得分并排序 Cwprint.m——读入数据文件；调用以上三个函数并输出结果 3.源程序 3.1 cwstd.m总和标准化法标准化矩阵 %cwstd.m,用总和标准化法标准化矩阵 function std=cwstd(vector) cwsum=sum(vector,1); %对列求和 [a,b]=size(vector); %矩阵大小,a为行数,b为列数 for i=1:a for j=1:b std(i,j)= vector(i,j)/cwsum(j); end end 3.2 cwfac.m计算相关系数矩阵 %cwfac.m function result=cwfac(vector); fprintf('相关系数矩阵:\n') std=CORRCOEF(vector) %计算相关系数矩阵 fprintf('特征向量(vec)及特征值(val)：\n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索引fprintf('特征根排序：\n') for z=1:length(y) newy(z)=y(length(y)+1-z); end fprintf('%g\n',newy) rate=y/sum(y); fprintf('\n贡献率：\n') newrate=newy/sum(newy) sumrate=0; newi=[]; for k=length(y):-1:1 sumrate=sumrate+rate(k); newi(length(y)+1-k)=i(k); if sumrate>0.85 break; end end %记下累积贡献率大85%的特征值的序号放入newi中fprintf('主成分数：%g\n\n',length(newi)); fprintf('主成分载荷：\n') for p=1:length(newi) SFA方法和因子分析法综述 （姬晓鹏，管理科学与工程，1009209018） 1.1DEA方法和SFA方法的区别 1.数据包络分析（DEA） 数据包络分析(data envelopment analysis)简称DEA,采用线性规划技术，是最常用的一种非参数前沿效率分析法。它由A.Charnes和W.W.Cooper[1]等人于1978年创建的，以相对效率为基础对同一类型的部门的绩效进行评价。 该方法将同一类型的部门或单位当作决策单元(DMU)，其评价依据的是所能观测到的决策单元的输入数据和输出数据。输入数据是指决策单元在某种活动中所消耗的某些量，如投入资金量、原料量等，输出数据是指决策单元消耗这些量所获得的成果和产出，如产品产量、收入金额等。将各决策单元的输入输出数据组成生产可能集所形成的生产有效前沿面，通过衡量每个决策单元离此前沿面的远近，来判断该决策单元的投入产出的合理性，即技术效率[2]。 一般的评价方法比较同一类型的决策单元的效率，需要先对决策单元的输入输出指标进行比较，并通过加权得到一个综合评分，然后通过各个决策单元的评分来反映其效益优劣。数据包络分析法则巧妙地构造了目标函数，并通过Charnes －Cooper变换（称为2 C－变换）将分式规划问题转化为线性规划问题，无需统一指标的量纲，也无需给定或者计算投入产出的权值，而是通过最优化过程来确定权重，从而使对决策单元的评价更为客观。对建筑设计企业进行评价的问题，很适于数据包络分析法的评价模型。 DEA方法也存在着一些缺点：首先，当决策单元总数与投入产出指标总数接近时，DEA方法所得的技术效率与实际情况偏差较大；其次，DEA方法对技术有效单元无法进行比较；此外，由于未考虑到系统中随机因素的影响，当样本中存在着特殊点时，DEA方法的技术效率结果将受到很大影响。彭晓英等用因子分析法对指标进行筛选和综合，再采用DEA方法进行评价，解决了DEA方法对指标数量限制的问题，并对煤炭资源型城市的生态经济发展进行了评价[3]。 SFA与DEA方法都是前沿效率评价方法，它们都是通过构造生产前沿面来计算技术效率的。与DEA方法相比，SFA方法利用生产函数来构造生产前沿面，并采用技术无效率项的条件期望来作为技术效率，其结果受特殊点的影响较小且 主成分分析计算方法和步骤： 在对某一事物或现象进行实证研究时,为了充分反映被研究对象个体之间的差异, 研究者往往要考虑增加测量指标,这样就会增加研究问题的负载程度。但由于各指标都是对同一问题的反映,会造成信息的重叠,引起变量之间的共线性,因此,在多指标的数据分析中,如何压缩指标个数、压缩后的指标能否充分反映个体之间的差异,成为研究者关心的问题。而主成分分析法可以很好地解决这一问题。 主成分分析的应用目的可以简单地归结为: 数据的压缩、数据的解释。它常被用来寻找和判断某种事物或现象的综合指标,并且对综合指标所包含的信息给予适当的解释, 从而更加深刻地揭示事物的内在规律。 主成分分析的基本步骤分为: ①对原始指标进行标准化,以消除变量在数量极或量纲上的影响;②根据标准化后的数据矩阵求出相关系数矩阵 R; ③求出 R 矩阵的特征根和特征向量; ④确定主成分,结合专业知识对各主成分所蕴含的信息给予适当的解释;⑤合成主成分,得到综合评价值。 结合数据进行分析 本题分析的是全国各个省市高校绩效评价，利用全国2014年的相关统计数据(见附录)，从相关的指标数据我们无法直接评价我国各省市的高等教育绩效，而通过表5-6的相关系数矩阵，可以看到许多的变量之间的相关性很高。如：招生人数与教职工人数之间具有较强的相关性，教育投入经费和招生人数也具有较强的相关性，教工人数与本科院校数之间的相关系数最高，到达了0.963，而各组成成分之间的相关性都很高，这也充分说明了主成分分析的必要性。 表5-6 相关系数矩阵 本科院校 数招生人数教育经费投入 相关性师生比0.279 0.329 0.252 重点高校数0.345 0.204 0.310 教工人数0.963 0.954 0.896 本科院校数 1.000 0.938 0.881 招生人数0.938 1.000 0.893 教育经费投 0.881 0.893 1.000 入 263.862 1.61144 2.754680.266575 268.764 2.07218 2.617560.182597 261.196 1.59769 2.350370.182114 248.708 2.09609 2.852790.257724 253.365 1.69457 2.94920.189702 268.434 1.56819 2.781130.13252 258.741 2.14653 2.691110.136469 244.192 2.02156 2.226070.298066 219.738 1.61224 1.885990.166298 244.702 1.91477 2.259450.187569 245.286 2.12499 2.352820.161602 251.96 1.83714 2.535190.240271 251.164 1.74167 2.629610.211887 251.824 2.00133 2.626650.211991 257.68 2.14878 2.656860.203846] stdr=std(dataset);%求个变量的标准差 [n,m]=size(dataset);%定义矩阵行列数 sddata=dataset./stdr(ones(n,1),:);%将原始数据采集标准化 sddata%输出标准化数据 [p,princ,eigenvalue,t2]=princomp(sddata);%调用前三个主成分系数 p3=p(:,1:3);%提取前三个主成分得分系数,通过看行可以看出对应的原始数据的列，每个列在每个主成分的得分 p3%输出前三个主成分得分系数 sc=princ(:,1:3);%提取前三个主成分得分值 sc%输出前三个主成分得分值 e=eigenvalue(1:3)';%提取前三个特征根并转置 M=e(ones(m,1),:).^0.5;%输出前三个特征根并转置 compmat=p3.*M;%利用特征根构造变换矩阵 per=100*eigenvalue/sum(eigenvalue);%求出成分载荷矩阵的前三列 per %求出各主成分的贡献率 cumsum(per);%列出各主成分的累积贡献率 figure(1) pareto(per);%将贡献率绘成直方图 t2 figure(2) %输出各省与平局距离 plot(eigenvalue,'r+');%绘制方差贡献散点图 hold on %保持图形 plot(eigenvalue,'g-');%绘制方差贡献山麓图 一组空气污染数据的主成分分析 【说明】下面的多元统计分析练习题摘自R.A. Johnson等编写的《应用多元统计分析（第五版）》，原书为：Richard A. Johnson and Dean W. Wichern. Applied Multivariate Statistical Analysis(5th Ed). Pearson Education, Inc. 2003。我看的是中国统计出版社（China Statistics Press）2003年发行的影印本。 第一题为原书第1.6题，即第1章的第6题，第二题为原书第8.12题，即第8章的第12题。 第二题用的是第一题的数据。 1 习题 1.6. The data in Table 1.5 are 42 measurements on air-pollution variables recorded at 12:00 noon in the Los Angeles area on different days. (a)Plot the marginal dot diagrams for all the variables. (b)Construct the x, S n, and R arrays, and interpret the entries in R. TABLE 1.5 AIR-POLLUTION DATA Wind (x1)Solar radiation (x2)CO (x3)NO (x4)NO2 (x5)O3 (x6)HC (x7) 8 98 7 2 12 8 2 7 107 4 3 9 5 3 7 103 4 3 5 6 3 10 88 5 2 8 15 4 6 91 4 2 8 10 3 8 90 5 2 12 12 4 9 84 7 4 12 15 5 5 72 6 4 21 14 4 7 82 5 1 11 11 3 8 64 5 2 13 9 4 6 71 5 4 10 3 3 6 91 4 2 12 7 3 7 72 7 4 18 10 3 10 70 4 2 11 7 3 10 72 4 1 8 10 3 9 77 4 1 9 10 3 8 76 4 1 7 7 3 8 71 5 3 16 4 4 9 67 4 2 13 2 3 9 69 3 3 9 5 3 主成分分析 类型：一种处理高维数据的方法。 降维思想：在实际问题的研究中，往往会涉及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。 一、总体主成分 1.1 定义 设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为 ()[(())(())],T ij p p E X E X X E X σ?∑==-- 它是一个 p 阶非负定矩阵。设 1111112212221122221122T p p T p p T p p p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X ?==+++? ==+++?? ??==+++? （1） 则有 ()(),1,2,...,, (,)(,),1,2,...,. T T i i i i T T T i j i j i j Var Y Var l X l l i p C ov Y Y C ov l X l X l l j p ==∑===∑= （2） 第 i 个主成分： 一般地，在约束条件 1T i i l l = 及 (,)0,1,2,..., 1. T i k i k C ov Y Y l l k i =∑==- 下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的 T i i Y l X = 称为 X 1，X 2，…，X p 的第 i 个主成分。 1.2 总体主成分的计算 设 ∑是12(,,...,)T p X X X X =的协方差矩阵， ∑的特征值及相应的正交单位化特征向量分别为 120p λλλ≥≥≥≥ 及 12,,...,,p e e e 则 X 的第 i 个主成分为 第五章数据例5-3 100固定资产原值实现值（%）100元固定 资产原值 实现利税 （%） 100元 资金 实现 利税 （%） 100元工 业总产 值实现 利税（%） 100元销售 收入实现 利税（%） 每吨标准 煤实现工 业产值 （元） 每千瓦 时电力 实现工 业产值 （元） 全员劳动 生产率（元 /人.年） 100元流 动资金 实现产 值（元） 北京（1）119.29 30.98 29.92 25.97 15.48 2178 3.41 21006 296.7 天津（2）143.98 31.59 30.21 21.94 12.29 2852 4.29 20254 363.1 河北（3）94.8 17.2 17.95 18.14 9.37 1167 2.03 12607 322.2 山西（4）65.8 11.08 11.06 12.15 16.84 8.82 1.65 10166 284.7 内蒙（5）54.79 9.24 9.54 16.86 6.27 894 1.8 7564 225.4 辽宁（6）94.51 21.12 22.83 22.35 11.28 1416 2.36 13.386 311.7 吉林（7）80.49 13.36 13.76 16.6 7.14 1306 2.07 9400 274.1 黑龙江 （8）75.86 15.82 16.67 20.86 10.37 1267 2.26 9830 267 上海（9）187.79 45.9 39.77 24.44 15.09 4346 4.11 31246 418.6 江苏（10）205.96 27.65 22.58 13.42 7.81 3202 4.69 23377 407.2 浙江（11）207.46 33.06 25.78 15.94 9.28 3811 4.19 22054 385.5 安徽（12）110.78 20.7 20.12 18.69 6.6 1468 2.23 12578 341.1 福建（13）122.76 22.52 19.93 18.34 8.35 2200 2.63 12164 301.2 江西 （14）94.94 14.7 14.18 15.49 6.69 1669 2.24 10463 274.4 山东（15）117.58 21.93 20.89 18.65 9.1 1820 2.8 17829 331.1 河南（16）85.98 17.3 17.18 20.12 7.67 1306 1.89 11247 276.5 湖北（17）103.96 19.5 18.48 18.77 9.16 1829 2.75 15745 308.9 湖南（18）104.03 21.47 21.28 20.63 8.72 1272 1.98 13161 309 广东（19）136.44 23.64 20.83 17.33 7.85 2959 3.71 16259 334 广西（20）100.72 22.04 20.9 21.88 9.67 1732 2.13 12441 296.4 四川（21）84.73 14.35 14.17 16.93 7.96 1310 2.34 11703 242.5 贵州（22）59.05 14.48 14.35 24.53 8.09 1068 1.32 9710 206.7 云南（23）73.72 21.91 22.7 29.72 9.38 1447 1.94 12517 295.8 陕西（24）78.02 13.13 12.57 16.83 9.19 1731 2.08 11369 220.3 甘肃（25）59.62 14.07 16.24 23.59 11.34 926 1.13 13084 246.8 青海（26）51.66 8.32 8.26 16.11 7.05 1055 1.31 9246 176.49 宁夏（27）52.95 8.25 8.82 15.57 6.58 834 1.12 10406 245.4 新疆（28）60.29 11.26 13.14 18.68 8.39 1041 2.9 10983 266 例5-4 厂家编号及指固定资产资金利销售收入资金利固定资流动资万元产全员劳动生 评价方法综述 综合评价是指对以多属性体系结构描述的对象系统作出全局性、整体性的评价，即对评价对象的全体根据所给的条件，采用一定的方法给每个评价对象赋予一个评价值，再据此择优或排序。 常用的综合综合评价方法可以分为以下几大类： （1）定性评价方法，包括专家会议法、德尔菲法(Delphi法)。这类方法具有操作简单，可以利用专家的知识，结论易于使用的优点，但是主观比较强，多人评价是结论难收敛，适合于不能或难以量化的大系统，简单的小系统。 （2）技术经济分析方法，包括经济分析法和技术评价法，分别通过价值分析、成本效益分析、价值功能分析，采用NPV(Net Present value)、IRR(Internal Rate of Retum)等指标和通过可行性分析、可靠性评价等。该方法含义明确，可比性强，但是建立模型比较困难，只适用评价因素少的对象。 （3）多属性决策方法(Multi Attribute Decesion-makingMethod，简称DADM)，这类方法通过化多为少、分层序列、直接求非劣解、重排次序法莱排序与评价，具有描述精确，可以处理多决策者、多指标、动态的对象的优点，但由于隶属刚性的评价，无法涉及模糊因素的对象。 （4）系统工程法，包括评分法、关联矩阵法和层次分析法(Analytic Hierarchy Proeess，简称AHP)，前两者具有方法简单、容易操作的优点，但只能用于静态评价；AHP法的可靠度比较高，误差小，但评价对象的因素不能太多(通常不多于9个)。 （5）模糊数学方法，包括模糊综合评价、模糊积分、模糊模式识别等，能克服传统数学方法中的“唯一解”的弊端，根据不同可能性得出多个层次的问题解，但不能解决评价指标间相关造成的信息重复问题，隶属函数、模糊相关矩阵等的确定方法有待进一步研究。 （6）物元分析方法与可拓评价，可以解决评价对象的指标存在不相容性和可变性的问题。 （7）统计分析方法，包括主成分分析、因子分析、聚类分析和判别分析等，具有全面性、可比性、客观合理的优点，但都需要大量的统计数据，没有反映客观发展水平。 1.设随机向量X=（X 1，X 2，X 3）T 的协方差与相关系数矩阵分别为 ???? ??=∑25441，??? ? ??=18.08.01R 分别从∑，R 出发，求X 的各主成分以及各主成分的贡献率并比较差异况。 解答： >> S=[1 4;4 25]; >> [PC,vary,explained]=pcacov(S); 总体主成分分析： >> [PC,vary,explained]=pcacov(S) 主成分交换矩阵： PC = -0.1602 -0.9871 -0.9871 0.1602 主成分方差向量： vary = 25.6491 0.3509 各主成分贡献率向量 explained = 98.6504 1.3496 则由程序输出结果得出，X 的主成分为： Y 1=-0.1602X 1-0.9871X 2 Y 2=-0.9871X 1+0.1602X 2 两个主成分的贡献率分别为：98.6504%，1.3496%；则若用第一个主成分代替原来的变量，信息损失率仅为1.3496，是很小的。 2.根据安徽省2007年各地市经济指标数据，见表5.2，求解： （1）利用主成分分析对17个地市的经济发展进行分析，给出排名； （2）此时能否只用第一主成分进行排名？为什么？ 解答： （1） >> clear >> A=[491.70,380.31,158.39,121.54,22.74,439.65,344.44,17.43; 21.12,30.55,6.40,12.40,3.31,21.17,17.71,2.03; 1.71, 2.35,0.57,0.68,0.13,1.48,1.36,-0.03; 9.83,9.05,3.13,3.43,0.64,8.76,7.81,0.54; 64.06,77.86,20.63,30.37,5.96,63.57,52.15,4.71; 30.38,46.90,9.19,9.83,17.87,28.24,21.90,3.80; 31.20,70.07,8.93,18.88,33.05,31.17,26.50,2.84; 79.18,62.09,20.78,24.47,3.51,71.29,59.07,6.78; 47.81,40.14,17.50,9.52,4.14,45.70,34.73,4.47; 104.69,78.95,29.61,25.96,5.39,98.08,84.81,3.81; 21.07,17.83,6.21,6.22,1.90,20.24,16.46,1.09; 214.19,146.78,65.16,41.62,4.39,194.98,171.98,11.05; 31.16,27.56,8.80,9.44,1.47,28.83,25.22,1.05; 12.76,14.16,3.66,4.07,1.57,11.95,10.24,0.73; 6.45,5.37,2.39,2.20,0.40,5.97,4.79,0.52; 39.43,44.60,15.17,15.72,3.27,36.03,27.87,3.48; 5.02,3.62,1.63,1.42,0.53,4.45,4.04,0.02]; 得到的相关系数矩阵为： >> R=corrcoef(A) R = 1.0000 0.9877 0.9988 0.9820 0.4281 0.9999 0.9980 0.9510 SPSS 中主成分分析的基本操作 Xiaowenzi22与pinksss 共同制作 阐述主成分分析法的原理 主成分分析是设法将原来众多具有一定相关性（比如P 个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P 个指标作线性组合，作为新的综合指标。最经典的做法就是用F 1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F 1)越大，表示F 1包含的信息越多。因此在所有的线性组合中选取的F 1应该是方差最打的，故称F 1为第一主成分。如果第一主成分不足以代表原来P 个指标的信息，再考虑选取F 2即选第二个线性组合，为了有效地反映原来信息，F 1已有的信息就不需要再出现再F 2中，用数学语言表达就是要求Cov(F 1, F 2)=0，则称F 2为第二主成分，依此类推可以构造出第三、第四，……，第P 个主成分。 主成分模型： F 1=a 11X 11+a 21X 21+……+a p1X p F 2=a 12X 12+a 22X 22+……+a p2X p …… F p =a 1m X 11+a 2m X 22+……+a pm X p 其中a 1i, a 2i, ……,a pi (i=1,……,m)为X 的协差阵Σ的特征值多对应的特征向量，X 1, X 2, ……, X p 是原始变量经过标准化处理的值（因为在实际应用中，往往存在指标的量纲不同，所以在计算之前先消除量纲的影响，而将原始数据标准化）。 A=(ij a )m p ×=(,1α,2α…,m α),i i i R αλα=, R 为相关系数矩阵, i i αλ、是相应的特征值和单位特征向量, 1λ≥2λ≥…≥p λ≥0 上述方程组要求： 1、a 21i +a 22i +……+a 2pi =1 (i=1,……,m) 2、m I A A =′ (A=(ij a )m p ×=(,1α,2α…,m α)，A 为正交矩阵) 3、Cov(F i ,F j )=ij i δλ, =01 ij δj i j i ≠= 操作步骤： 一、 数据标准化主成分分析报告matlab程序
SFA方法综述
主成分分析计算方法和步骤
主成分分析matlab源程序代码
一组空气污染数据的主成分分析
主成分分析和MATLAB应用
主成分分析数据
(完整版)评价方法综述
matlab主成分分析案例
SPSS中主成分分析的基本操作1
相关主题
文本预览