1.function y = pca(mixedsig)
2.
3.%程序说明：y = pca(mixedsig)，程序中mixedsig为 n*T 阶混合数据矩阵，
n为信号个数，T为采样点数
4.% y为 m*T 阶主分量矩阵。
5.% n是维数，T是样本数。
6.
7.if nargin == 0
8. error('You must supply the mixed data as input argument.');
9.end
10.if length(size(mixedsig))>2
11. error('Input data can not have more than two dimensions. ');
12.end
13.if any(any(isnan(mixedsig)))
14. error('Input data contains NaN''s.');
15.end
16.
17.%——————————————去均值————————————
18.meanValue = mean(mixedsig')';
19.[m,n] = size(mixedsig);
20.%mixedsig = mixedsig - meanValue*ones(1,size(meanValue)); %当数据本
身维数很大时容易出现Out of memory
21.for s = 1:m
22. for t = 1:n
23. mixedsig(s,t) = mixedsig(s,t) - meanValue(s);
24. end
25.end
26.[Dim,NumofSampl] = size(mixedsig);
27.oldDimension = Dim;
28.fprintf('Number of signals: %d\n',Dim);
29.fprintf('Number of samples: %d\n',NumofSampl);
30.fprintf('Calculate PCA...');
31.firstEig = 1;
https://www.doczj.com/doc/1c15569008.html,stEig = Dim;
33.covarianceMatrix = corrcoef(mixedsig'); %计算协方差矩阵
34.[E,D] = eig(covarianceMatrix); %计算协方差矩阵的特征值和特
征向量
35.
36.%———计算协方差矩阵的特征值大于阈值的个数lastEig———
37.%rankTolerance = 1;
38.%maxLastEig = sum(diag(D) >= rankTolerance);
39.%lastEig = maxLastEig;
https://www.doczj.com/doc/1c15569008.html,stEig = 10;
41.
43.eigenvalues = flipud(sort(diag(D)));
44.
45.%—————————去掉较小的特征值——————————
46.if lastEig < oldDimension
47. lowerLimitValue = (eigenvalues(lastEig) + eigenvalues(lastEig +
1))/2;
48.else
49. lowerLimitValue = eigenvalues(oldDimension) - 1;
50.end
51.lowerColumns = diag(D) > lowerLimitValue;
52.
53.%—————去掉较大的特征值(一般没有这一步)——————
54.if firstEig > 1
55. higherLimitValue = (eigenvalues(firstEig - 1) + eigenvalues(fir
stEig))/2;
56.else
57. higherLimitValue = eigenvalues(1) + 1;
58.end
59.higherColumns = diag(D) < higherLimitValue;
60.
61.%—————————合并选择的特征值——————————
62.selectedColumns =lowerColumns & higherColumns;
63.
64.%—————————输出处理的结果信息—————————
65.fprintf('Selected [%d] dimensions.\n',sum(selectedColumns));
66.fprintf('Smallest remaining (non-zero) eigenvalue[ %g ]\n',eigenval
ues(lastEig));
67.fprintf('Largest remaining (non-zero) eigenvalue[ %g ]\n',eigenvalu
es(firstEig));
68.fprintf('Sum of removed eigenvalue[ %g ]\n',sum(diag(D) .* (~select
edColumns)));
69.
70.%———————选择相应的特征值和特征向量———————
71.E = selcol(E,selectedColumns);
72.D = selcol(selcol(D,selectedColumns)',selectedColumns);
73.
74.%——————————计算白化矩阵———————————
75.whiteningMatrix = inv(sqrt(D)) * E';
76.dewhiteningMatrix = E * sqrt(D);
77.
78.%——————————提取主分量————————————
79.y = whiteningMatrix * mixedsig;
80.
82.function newMatrix = selcol(oldMatrix,maskVector)
83.if size(maskVector,1)~= size(oldMatrix,2)
84. error('The mask vector and matrix are of uncompatible size.');
85.end
86.numTaken = 0;
87.for i = 1:size(maskVector,1)
88. if maskVector(i,1) == 1
89. takingMask(1,numTaken + 1) = i;
90. numTaken = numTaken + 1;
91. end
92.end
93.newMatrix = oldMatrix(:,takingMask);
利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是 最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1） 在（3.5.3）式中，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2） 因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。
② 计算特征值与特征向量 首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求 出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其 中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为 ),,2,1(1 p i p k k i =∑=λ λ 累计贡献率为 ) ,,2,1(11 p i p k k i k k =∑∑==λ λ 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷 其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3）
主成分分析计算方法和步骤： 在对某一事物或现象进行实证研究时,为了充分反映被研究对象个体之间的差异, 研究者往往要考虑增加测量指标,这样就会增加研究问题的负载程度。但由于各指标都是对同一问题的反映,会造成信息的重叠,引起变量之间的共线性,因此,在多指标的数据分析中,如何压缩指标个数、压缩后的指标能否充分反映个体之间的差异,成为研究者关心的问题。而主成分分析法可以很好地解决这一问题。 主成分分析的应用目的可以简单地归结为: 数据的压缩、数据的解释。它常被用来寻找和判断某种事物或现象的综合指标,并且对综合指标所包含的信息给予适当的解释, 从而更加深刻地揭示事物的内在规律。 主成分分析的基本步骤分为: ①对原始指标进行标准化,以消除变量在数量极或量纲上的影响;②根据标准化后的数据矩阵求出相关系数矩阵 R; ③求出 R 矩阵的特征根和特征向量; ④确定主成分,结合专业知识对各主成分所蕴含的信息给予适当的解释;⑤合成主成分,得到综合评价值。 结合数据进行分析 本题分析的是全国各个省市高校绩效评价，利用全国2014年的相关统计数据(见附录)，从相关的指标数据我们无法直接评价我国各省市的高等教育绩效，而通过表5-6的相关系数矩阵，可以看到许多的变量之间的相关性很高。如：招生人数与教职工人数之间具有较强的相关性，教育投入经费和招生人数也具有较强的相关性，教工人数与本科院校数之间的相关系数最高，到达了0.963，而各组成成分之间的相关性都很高，这也充分说明了主成分分析的必要性。 表5-6 相关系数矩阵 本科院校 数招生人数教育经费投入 相关性师生比0.279 0.329 0.252 重点高校数0.345 0.204 0.310 教工人数0.963 0.954 0.896 本科院校数 1.000 0.938 0.881 招生人数0.938 1.000 0.893
实验报告 课程名称多元统计分析 实验项目名称三、主成分分析 班级与班级代码11250401 实验室名称（或课室）北4楼 804 专业统计学 任课教师林海明 学号：11250401149 姓名：王宁博 实验日期：2014年4月23日 广东商学院教务处制
姓名王宁博实验报告成绩 评语： 1.对主成分分析问题的思路、理论和方法认识正确； 2.SAS软件相应计算结果确认与应用正确； 3.SAS软件相应过程命令正确。 注:“不正确”为有不正确之处，具体见后面批注。 指导教师（签名）林海明 2014年4月日说明：指导教师评分后，实验报告交院（系）办公室保存。
实验目的：通过主成分分析的实验,熟悉主成分分析问题的提出、解决问题的思路、方法和技能，会调用SAS软件主成分分析等有关过程命令，根据计算机计算的结果，分析和解决主成分分析问题。 实验原理：解决主成分分析问题的思路、理论和方法。 实验设备：计算机与SAS软件。 实验数据：奥运会男子径赛的8项变量为:X1—100米(秒)，X2—200米(秒)，X3—400米(秒)，X4—800米(分)，X5—1500米(分)，X6—5000米(分)，X7—10000米(分)，X8—马拉松(分)，原始数据见表1.
实验步骤：
1.指标的正向化（单独计算）、指标数据标准化（SAS软件自动执行）； 2.调用因子分析过程命令输入正向化数据求得相关系数阵R的特征值 λ、信息累计贡献率，给出简单结构的主成分载荷阵0s L(初始因子载荷i L(k≥s)； 阵)，选出达到简单结构的旋转后因子载荷阵Γ k 3.调用主成分分析过程命令输入正向化数据求得主成分y1、y2、…、y m的系数向量，主成分y1、y2、…、y m的样品值; 4.计算综合主成分y综变量系数（调用iml过程命令）； 5.计算综合主成分y综的样品值（调用iml过程命令）； 6.用主成分y1、y2、…、y m样品值的标准化值做聚类分析（调用聚类分析类平均法过程命令）等； 实验结果、实验分析、结论（有关表图要有序号和中文名称，表的序号和中文名在表的上方、表的上下线为粗线、表的内线为细线、表的左右边不封口，图的序号和中文名在图的正下方，表图不能跨页、表图旁不能留空块, 引用结论要注明参考文献）： (1)数据预处理：对原始指标进行正向化、标准化，记为X=(x1,…,x p)′； (2)指标X可降维的判定：如果变量间有相关系数的绝对值≥0.8，则指标X可降维； (3)选出简单结构的初始、旋转后因子载荷阵：因子分析主成分法下，列数s=1时，初始因子载荷阵B01(表2B03的第1列)达到简单结构；从多个不同列的旋转后因子载荷阵中挑选得(见表3频数的第2~4列)，m=1时，旋转后因子载荷阵B01Г1(表2)达到简单结构(此时，Г1=1)；
1?设随机向量X= (X i , X 2, X 3)T 的协方差与相关系数矩阵分别为 1 4 ，R 4 25 分别从，R 出发，求X 的各主成分以及各主成分的贡献率并比较差异况。 解答： >> S=[1 4;4 25]; >> [P C,vary,ex plain ed]=p cacov(S); 总体主成分分析： >> [P C,vary,ex plain ed]=p cacov(S) 主成分交换矩阵： PC = -0.1602 -0.9871 -0.9871 0.1602 主成分方差向量： vary = 25.6491 0.3509 各主成分贡献率向量 explained = 98.6504 1.3496 则由程序输出结果得出，X 的主成分为: Y 1=-0.1602X 1-0.9871X 2 Y 2=-0.9871X 1+0.1602X 2 两个主成分的贡献率分别为：98.6504%, 1.3496%;贝U 若用第一个主成分代替原 来的变量，信息损失率仅为1.3496，是很小的。 2.根据安徽省2007年各地市经济指标数据，见表 5.2，求解： (1) 利用主成分分析对17个地市的经济发展进行分析，给出排名; (2) 此时能否只用第一主成分进行排名？为什么？ 1 0.8 0.8 1
1.0000 0.9877 0.9980 0.9510 0.9988 0.9820 0.4281 0.9999 解答： (1) >> clear >> A=[491.70,380.31,158.39,121.54,22.74,439.65,344.44,17.43; 21.12,30.55,6.40,12.40,3.31,21.17,17.71,2.03; 1.71, 2.35,0.57,0.68,0.13,1.48,1.36,-0.03; 9.83,9.05,3.13,3.43,0.64,8.76,7.81,0.54; 64.06,77.86,20.63,30.37,5.96,63.57,52.15,4.71; 30.38,46.90,9.19,9.83,17.87,28.24,21.90,3.80; 31.20,70.07,8.93,18.88,33.05,31.17,26.50,2.84; 79.18,62.09,20.78,24.47,3.51,71.29,59.07,6.78; 47.81,40.14,17.50,9.52,4.14,45.70,34.73,4.47; 104.69,78.95,29.61,25.96,5.39,98.08,84.81,3.81; 21.07,17.83,6.21,6.22,1.90,20.24,16.46,1.09; 214.19,146.78,65.16,41.62,4.39,194.98,171.98,11.05; 31.16,27.56,8.80,9.44,1.47,28.83,25.22,1.05; 12.76,14.16,3.66,4.07,1.57,11.95,10.24,0.73; 6.45,5.37,2.39,2.20,0.40,5.97,4.79,0.52; 39.43,44.60,15.17,15.72,3.27,36.03,27.87,3.48; 5.02,3.62,1.63,1.42,0.53,4.45,4.04,0.02]; 得到的相关系数矩阵为： >> R=corrcoef(A) R =
§10.利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是 最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1） 在（，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2） 因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。 ② 计算特征值与特征向量
首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求 出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其 中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为 累计贡献率为 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷 其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3） 得到各主成分的载荷以后，还可以按照（，得到各主成分的得分 ? ? ??? ???????=nm n n m m z z z z z z z z z Z 2 1 22221 11211 （4） 2.程序结构及函数作用 在软件Matlab 中实现主成分分析可以采取两种方式实现：一是通过编程来
主成分分析法(PCA) 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析法(PCA)模型 （一）主成分分析的基本思想 主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求 0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。 （二）主成分分析的数学模型 对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为： ??????? ??=np n n p p x x x x x x x x x X 21 222 21112 11()p x x x ,,21=
Matlab编程实现主成分分析 .程序结构及函数作用 在软件Matlab中实现主成分分析可以采取两种方式实现：一是通过编程来实现；二是直接调用Matlab种自带程序实现。下面主要主要介绍利用Matlab 的矩阵计算功能编程实现主成分分析。 1程序结构 主函数 子函数
Cwstd.m——用总和标准化法标准化矩阵 Cwfac.m——计算相关系数矩阵；计算特征值和特征向量；对主成分进行排序；计算各特征值贡献率；挑选主成分（累计贡献率大于85%），输出主成分个数；计算主成分载荷 Cwscore.m——计算各主成分得分、综合得分并排序 Cwprint.m——读入数据文件；调用以上三个函数并输出结果 3.源程序 3.1 cwstd.m总和标准化法标准化矩阵 %cwstd.m,用总和标准化法标准化矩阵 function std=cwstd(vector) cwsum=sum(vector,1); %对列求和 [a,b]=size(vector); %矩阵大小,a为行数,b为列数 for i=1:a for j=1:b std(i,j)= vector(i,j)/cwsum(j); end
end 3.2 cwfac.m计算相关系数矩阵 %cwfac.m function result=cwfac(vector); fprintf('相关系数矩阵:\n') std=CORRCOEF(vector) %计算相关系数矩阵 fprintf('特征向量(vec)及特征值(val)：\n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; %对特征根进行排序，y为排序结果，i为索引fprintf('特征根排序：\n') for z=1:length(y) newy(z)=y(length(y)+1-z); end fprintf('%g\n',newy) rate=y/sum(y); fprintf('\n贡献率：\n') newrate=newy/sum(newy) sumrate=0; newi=[];
主成分分析 类型：一种处理高维数据的方法。 降维思想：在实际问题的研究中，往往会涉及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。 一、总体主成分 1.1 定义 设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为 ()[(())(())], T ij p p E X E X X E X σ?∑==-- 它是一个 p 阶非负定矩阵。设 1111112212221122221122T p p T p p T p p p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X ?==+++? ==+++?? ??==+++? （1） 则有 ()(),1,2,...,, (,)(,),1,2,...,. T T i i i i T T T i j i j i j V ar Y V ar l X l l i p C ov Y Y C ov l X l X l l j p ==∑===∑= （2） 第 i 个主成分： 一般地，在约束条件 1T i i l l =
及 (,)0,1,2,..., 1.T i k i k C ov Y Y l l k i =∑==- 下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的 T i i Y l X = 称为 X 1，X 2，…，X p 的第 i 个主成分。 1.2 总体主成分的计算 设 ∑是12(,,...,) T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特 征向量分别为 120p λλλ≥≥≥≥ 及 12,,...,, p e e e 则 X 的第 i 个主成分为 1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3） 此时 (),1,2,...,,(,)0,. T i i i i T i k i k V ar Y e e i p C ov Y Y e e i k λ?=∑==??=∑=≠?? 1.3 总体主成分的性质 1.3.1 主成分的协方差矩阵及总方差 记 12(,,...,) T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且 12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ= 由此得主成分的总方差为 1 1 1 ()()()()(),p p p T T i i i i i i V ar Y tr P P tr P P tr V ar X λ ==== =∑=∑=∑= ∑∑∑ 即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差
1.function y = pca(mixedsig) 2. 3.%程序说明：y = pca(mixedsig)，程序中mixedsig为 n*T 阶混合数据矩阵， n为信号个数，T为采样点数 4.% y为 m*T 阶主分量矩阵。 5.% n是维数，T是样本数。 6. 7.if nargin == 0 8. error('You must supply the mixed data as input argument.'); 9.end 10.if length(size(mixedsig))>2 11. error('Input data can not have more than two dimensions. '); 12.end 13.if any(any(isnan(mixedsig))) 14. error('Input data contains NaN''s.'); 15.end 16. 17.%——————————————去均值———————————— 18.meanValue = mean(mixedsig')'; 19.[m,n] = size(mixedsig); 20.%mixedsig = mixedsig - meanValue*ones(1,size(meanValue)); %当数据本 身维数很大时容易出现Out of memory 21.for s = 1:m 22. for t = 1:n 23. mixedsig(s,t) = mixedsig(s,t) - meanValue(s); 24. end 25.end 26.[Dim,NumofSampl] = size(mixedsig); 27.oldDimension = Dim; 28.fprintf('Number of signals: %d\n',Dim); 29.fprintf('Number of samples: %d\n',NumofSampl); 30.fprintf('Calculate PCA...'); 31.firstEig = 1; https://www.doczj.com/doc/1c15569008.html,stEig = Dim; 33.covarianceMatrix = corrcoef(mixedsig'); %计算协方差矩阵 34.[E,D] = eig(covarianceMatrix); %计算协方差矩阵的特征值和特 征向量 35. 36.%———计算协方差矩阵的特征值大于阈值的个数lastEig——— 37.%rankTolerance = 1; 38.%maxLastEig = sum(diag(D) >= rankTolerance); 39.%lastEig = maxLastEig; https://www.doczj.com/doc/1c15569008.html,stEig = 10; 41.
1、主成分法： 用主成分法寻找公共因子的方法如下： 假定从相关阵出发求解主成分，设有p 个变量，则可找出p 个主成分。将所得的p 个主成分按由大到小的顺序排列，记为1Y ，2Y ，…，P Y ， 则主成分与原始变量之间存在如下关系： 11111221221122221122....................p p p p p p p pp p Y X X X Y X X X Y X X X γγγγγγγγγ=+++?? =+++??? ?=+++? 式中，ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从X 到Y 得转换关系是可逆的，很容易得出由Y 到 X 得转换关系为： 11112121212122221122....................p p p p p p p pp p X Y Y Y X Y Y Y X Y Y Y γγγγγγγγγ=+++?? =+++??? ?=+++? 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替，则上式变为： 111121211 2121222221122................. ...m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++??=++++????=++++? 上式在形式上已经与因子模型相一致，且i Y （i=1,2，…，m ）之间相互独立，且i Y 与i ε之间相互独立，为了把i Y 转化成合适的公因子，现在要做的工作只是把主成分i Y 变为方差为1的变量。为完成此变换，必须将i Y 除以其标准差，由主成分分析的知识知其标准差即为特征根的平方根 i λ/i i i F Y λ=， 1122m m λγλγλγ，则式子变为：
263.862 1.61144 2.754680.266575 268.764 2.07218 2.617560.182597 261.196 1.59769 2.350370.182114 248.708 2.09609 2.852790.257724 253.365 1.69457 2.94920.189702 268.434 1.56819 2.781130.13252 258.741 2.14653 2.691110.136469 244.192 2.02156 2.226070.298066 219.738 1.61224 1.885990.166298 244.702 1.91477 2.259450.187569 245.286 2.12499 2.352820.161602 251.96 1.83714 2.535190.240271 251.164 1.74167 2.629610.211887 251.824 2.00133 2.626650.211991 257.68 2.14878 2.656860.203846] stdr=std(dataset);%求个变量的标准差 [n,m]=size(dataset);%定义矩阵行列数 sddata=dataset./stdr(ones(n,1),:);%将原始数据采集标准化 sddata%输出标准化数据 [p,princ,eigenvalue,t2]=princomp(sddata);%调用前三个主成分系数 p3=p(:,1:3);%提取前三个主成分得分系数,通过看行可以看出对应的原始数据的列，每个列在每个主成分的得分 p3%输出前三个主成分得分系数 sc=princ(:,1:3);%提取前三个主成分得分值 sc%输出前三个主成分得分值 e=eigenvalue(1:3)';%提取前三个特征根并转置 M=e(ones(m,1),:).^0.5;%输出前三个特征根并转置 compmat=p3.*M;%利用特征根构造变换矩阵 per=100*eigenvalue/sum(eigenvalue);%求出成分载荷矩阵的前三列 per %求出各主成分的贡献率 cumsum(per);%列出各主成分的累积贡献率 figure(1) pareto(per);%将贡献率绘成直方图 t2 figure(2) %输出各省与平局距离 plot(eigenvalue,'r+');%绘制方差贡献散点图 hold on %保持图形 plot(eigenvalue,'g-');%绘制方差贡献山麓图
R 语言主成分分析的案例
R 语言也介绍到案例篇了，也有不少同学反馈说还是不是特别明白一些基础的东西，希望能 够有一些比较浅显的可以操作的入门。其实这些之前 SPSS 实战案例都不少，老实说一旦用 上了开源工具就好像上瘾了，对于以前的 SAS、clementine 之类的可视化工具没有一点 感觉了。本质上还是觉得要装这个、装那个的比较麻烦，现在用 R 或者 python 直接简单 安装下，导入自己需要用到的包，活学活用一些命令函数就可以了。以后平台上集成 R、 python 的开发是趋势，包括现在 BAT 公司内部已经实现了。 今天就贴个盐泉水化学分析资料的主成分分析和因子分析通过 R 语言数据挖掘的小李 子： 有条件的同学最好自己安装下 R，操作一遍。 今有 20 个盐泉，盐泉的水化学特征系数值见下表.试对盐泉的水化学分析资料作主成分分 析和因子分析.（数据可以自己模拟一份）
其中 x1:矿化度(g/L);
x2:Br?103/Cl; x3:K?103/Σ 盐; x4:K?103/Cl; x5:Na/K; x6:Mg?102/Cl; x7:εNa/εCl.
1.数据准备
导入数据保存在对象 saltwell 中 >saltwell<-read.table("c:/saltwell.txt",header=T) >saltwell
2.数据分析
1 标准误、方差贡献率和累积贡献率
>arrests.pr<- prcomp(saltwell, scale = TRUE) >summary(arrests.pr，loadings=TRUE)
2 每个变量的标准误和变换矩阵
>prcomp(saltwell, scale = TRUE)
3 查看对象 arests.pr 中的内容
>> str(arrests.pr)
Matlab 编程实现主成分分析 . 程序结构及函数作用 在软件 Matlab 中实现主成分分析可以采取两种方式实现：一是通过编程来 实现；二是直接调用 Matlab 种自带程序实现。下面主要主要介绍利用 Matlab 的矩阵计算功能编程实现主成分分析。 1程序结构 主函数 子函数 2函数作用——用总和标准化法 标准化矩阵 ——计算相关系数矩阵；计算特征值和特征向量；对主成分进行排序；计算各特征值贡献率；挑选主成分（累计贡献率大于 85%），输出主成分个数；计算 主成分载荷 ——计算各主成分得分、综合得分并排序 ——读入数据文件；调用以上三个函数并输出结果
3.源程序 总和标准化法标准化矩阵 %,用总和标准化法标准化矩阵function std=cwstd(vector) cwsum=sum(vector,1);% [a,b]=size(vector);% for i=1:a for j=1:b 对列求和矩 阵大小 ,a 为行数 ,b 为列数 std(i,j)= vector(i,j)/cwsum(j); end end 计算相关系数矩阵 % function result=cwfac(vector); fprintf('相关系数矩阵 :\n') std=CORRCOEF(vector) % 计算相关系数矩阵 fprintf('特征向量 (vec) 及特征值 (val) ： \n') [vec,val]=eig(std) %求特征值(val)及特征向量(vec) newval=diag(val) ; [y,i]=sort(newval) ; % 对特征根进行排序，y 为排序结果，i 为索引fprintf('特征根排序： \n') for z=1:length(y) newy(z)=y(length(y)+1-z); end fprintf('%g\n',newy) rate=y/sum(y); fprintf('\n贡献率： \n') newrate=newy/sum(newy) sumrate=0; newi=[]; for k=length(y):-1:1 sumrate=sumrate+rate(k); newi(length(y)+1-k)=i(k); if sumrate> break; end end % 记下累积贡献率大 85%的特征值的序号放入 newi 中 fprintf(' 主成分 数： %g\n\n',length(newi)); fprintf(' 主成分载荷： \n')
主成分的求解方法 1求相关矩阵 2、求特征值与特征向量 3、确定主成分个数 4、计算主成分得分。 data p108; input x$ x1-x8; datalines; 北京1394.89 2505.00 519.01 8144 373.90 117.30 112.60 843.43 天津920.11 2720.00 345.46 6501 342.80 115.20 110.60 582.51 河北2849.52 1258.00 704.87 4839 2033.30 115.20 115.80 1234.85 山西1092.48 1250.00 290.90 4721 717.30 116.90 115.60 697.25 内蒙832.88 1387.00 250.23 4134 781.70 117.50 116.80 419.39 辽宁2793.37 2397.00 387.99 4911 1371.10 116.10 114.00 1840.55 吉林1129.20 1872.00 320.45 4430 497.40 115.20 114.20 762.47 黑龙江2014.53 2334.00 435.73 4145 824.80 116.10 114.30 1240.37 上海2462.57 5343.00 996.48 9279 207.40 118.70 113.00 1642.95 江苏5155.25 1926.00 1434.95 5943 1025.50 115.80 114.30 2026.64 浙江3524.79 2249.00 1006.39 6619 754.40 116.60 113.50 916.59 安徽2003.58 1254.00 474.00 4609 908.30 114.80 112.70 824.14 福建2160.52 2320.00 553.97 5857 609.30 115.20 114.40 433.67 江西1205.11 1182.00 282.84 4211 411.70 116.90 115.90 571.84 山东5002.34 1527.00 1229.55 5145 1196.60 117.60 114.20 2207.69 河南3002.74 1034.00 670.35 4344 1574.40 116.50 114.90 1367.92 湖北2391.42 1527.00 571.68 4685 849.00 120.00 116.60 1220.72 湖南2195.70 1408.00 422.61 4797 1011.80 119.00 115.50 843.83 广东5381.72 2699.00 1639.83 8250 656.50 114.00 111.60 1396.35 广西1606.15 1314.00 382.59 5105 556.00 118.40 116.40 554.97 海南364.17 1814.00 198.35 5340 232.10 113.50 111.30 64.33 四川3534.00 1261.00 822.54 4645 902.30 118.50 117.00 1431.81 贵州630.07 942.00 150.84 4475 301.10 121.40 117.20 324.72 云南1206.68 1261.00 334.00 5149 310.40 121.30 118.10 716.65 西藏55.98 1110.00 17.87 7382 4.20 117.30 114.90 5.57 陕西1000.03 1208.00 300.27 4396 500.90 119.00 117.00 600.98 甘肃553.35 1007.00 114.81 5493 507.00 119.80 116.50 468.79 青海165.31 1445.00 47.76 5753 61.60 118.00 116.30 105.80
主成分分析法 [ 编辑 ] 什么是主成分分析法 主成分分析也称 主分量分析 ，旨在利用降维的思想，把多 指标 转化为少数几个综合指标。 在 统计学 中，主成分分析（ principal components analysis,PCA ）是一种简化数据集的技 术。它是一个线性变换。 这个变换把数据变换到一个新的坐标系统中， 使得任何数据投影的第一 大方差 在第一个坐标 （称为第一主成分 ）上，第二大方差在第二个坐标 （第二主成分 ）上，依次类推。 主成分分析经常用减少数据集的维数， 同时保持数据集的对 方差 贡献最大的特征。 这是通过保留 低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是， 这也不是一定的，要视具体应用而定。 [ 编辑 ] ， PCA ） 又称： 主分量分析，主成分回归分析法 主成分分析（ principal components analysis
主成分分析的基本思想 在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。 同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。如上所述，主成分分析法正是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。上述想法可进一步概述为：设某科普效果评估要素涉及个指标，这指标构成的维随机向量为。对作正交变换，令，其中为正交阵，的各分量是不相关的，使得的各分量在某个评估要素中的作用容易解释，这就使得我们有可能从主分量中选择主要成分，削除对这一要素影响微弱的部分，通过对主分量的重点分析，达到对原始变量进行分析的目的。的各分量是原始变量线性组合，不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系，主成分分析使我们能从错综复杂的科普评估要素的众多指标中，找出一些主要成分，以便有效地利用大量统计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一些启发，把科普效果评估研究引向深入。 例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科普作品发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算，最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标，变量数减少，并达到一定的可信度，就容易进行科普效果的评估。 [ 编辑] 主成分分析法的基本原理 主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 [ 编辑] 主成分分析的主要作用
本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A），这种方法主要是两维主成分变换空间上对物体进行分析。其基本思想是：首先，利用标准的K2DPCA方法在图像的行方向去相关性，然后，在K2DPCA空间下在图像的列方向利用2DFLD方法对图像进一步去相关性。为了克服2DPCA和2D-FPCA方法需要大量存储空间的缺点，本文提出的K2D P C A plus 2D P C A方法需要较小的存储空间以及具有高的识别率，且计算效率高于KPCA /K2DPCA/2 (2D)FPCA算法。最后，在手指静脉数据库中对该方法进行了验证。
主成分分析(PCA)[3-5]是一种经典的线性特征提取和数据表示方法，它们已广泛的应用于模式识别和机器视觉领域。在一般情况下使用这种方法处理二维图像时，图像矩阵必须首先转化一维的行向量或者列向量。然而，在转换为一维的向量后，通常会导致向量空间的维数非常高。由于维数非常高，且训练的样本数相对较少，所以那很难精确的估计协方差矩阵，而且计算高维的协方差矩阵的特征向量是相当费时。 为解决这些问题，近年来，两维特征提取方法，如两维PCA(2DPCA)已经引起广泛的关注。Yang [6]最先提出了2DPCA方法，Yang的主要工作是直接用原始二维图像构造图像的协方差矩阵。然而，我们可以看出，无论是在图像的行方向进行的2DPCA [9]方法还是在列方向进行的2DPCA [10]方法，与标准的PCA方法相比他们在对图像信息的表达上需要更多的系数来表达图 像信息。为了见一步克服这个问题，文献[10]提出了2 (2D)PC A的思想应用于人脸的识别。但遗憾的是，2DPCA and 2 (2D)PC A都是线性投影方法，他们只考虑到图像数据中的二阶统计信息，未能利用数据中的高阶统计信息，忽略了多个像素间的非线性相关性。然而，现实中的许多问题是非线性可分的，例如由于图像的光照、姿态等不同引起的差异是非线性和复杂的，故利用 2DPCA 和2 (2D)PC A来分类时不能得到令人满意的结果。 为了避免这些缺陷，通过对PCA的改进提出了一种新处理非线性的方法。文献[14]提出了一种新的非线性提取方法-核主成分分析方法(KPCA)。各个领域的应用中，KPCA都优于PCA方法([11]; [12];[13];[14])。近年来，一些研究者提出了二维核主成分分析方法(K2DPCA) [1]。该方法在用于人脸识别时，在处理图像的非线性相关性特征方面都优于KPCA 2DPCA and B2DPCA方法[1]。但是，和2DPCA遇到的一个相同的问题是，仅仅在图像的行方向或者列方向使用K2DPCA方法时，与标准的KPCA方法相比他们在对图像信息的表达上需要更多的系数来表达图像信息。为了提高识别精度和降低计算复杂度与减少存储空间，本文提出了一种新的用于物体识别算法—两个方向两维核主成分分析方法（K2D PC A plus 2D PC A）其基本思想是：