下载文档原格式
主成分分析（PCA）算法介绍及matlab实现案例主成分分析经常被⽤做模型分类时特征的降维，本篇⾸先介绍PCA的步骤，并根据步骤撰写对应的MATLAB代码，最后指明使⽤PCA的步骤。
我们在做分类时，希望提取的特征能够最⼤化将数据分开，如果数据很紧密，模型就⽐较难将其分开，如果数据⽐较离散，那么就⽐较容易分开，换句话说，数据越离散，越容易分开。
那怎么让数据离散呢？离散⼜⽤什么指标衡量呢？统计学的知识告诉我们，数据越离散，⽅差越⼤。
因此，PCA的问题就变为：寻找⼀个坐标轴，使得数据在该坐标轴上⾯离散度最⾼。
也就是寻找⼀个基使得所有数据在这个基上⾯的投影值的⽅差最⼤。
那具体怎么做呢？科学家们已经帮我们做好了，如下步骤：设有m个样本，每个样本有n个特征，组成m⾏n列的矩阵1）将每⼀列特征进⾏均值化处理，特征归⼀化，也称为数据中⼼平移到坐标原点2）求取协⽅差矩阵3）求取协⽅差矩阵的特征值和特征向量4）将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵，取前K列组成系数矩阵matlab代码function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)%data为row⾏col列矩阵，row为样本数量，col为特征列，每⼀列代表⼀个特征[row , col] = size(data);% 求出每⼀列的均值meanValue = mean(data);% 将每⼀列进⾏均值化处理，特征归⼀化,数据中⼼平移到坐标原点normData = data - repmat(meanValue,[row,1]);%求取协⽅差矩阵covMat = cov(normData);%求取特征值和特征向量[eigVect,eigVal] = eig(covMat);% 将特征向量按对应特征值⼤⼩从上到下按⾏排列成矩阵[sortMat, sortIX] = sort(eigVal,'descend');[B,IX] = sort(sortMat(1,:),'descend');coffMatrix = eigVect(:,IX);% 排序后的特征向量就是新的坐标系lowData = normData * coffMatrix;% 分量得分explained = 100*B/sum(B);%特征值eigValSort = B;%%% [U,S,V] = svd(data);end我们在实际应⽤PCA的时候需要注意保留以下⼏个值。
主成分分析方法在许多实际问题中,多个变量之间就是具有一定的相关关系的。
因此,我们就会很自然地想到,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？事实上,这种想法就是可以实现的,这里介绍的主成分分析方法就就是综合处理这种问题的一种强有力的方法。
一、主成分分析的基本原理主成分分析就是把原来多个变量化为少数几个综合指标的一种统计分析方法,从数学角度来瞧,这就是一种降维处理技术。
假定有n 个地理样本,每个样本共有p 个变量描述,这样就构成了一个n×p 阶的地理数据矩阵:111212122212p p n n np x x x x x x X x x x ⎧⎪⎪=⎨⎪⎪⎩L L L L L LL (1)如何从这么多变量的数据中抓住地理事物的内在规律性呢？要解决这一问题,自然要在p 维空间中加以考察,这就是比较麻烦的。
为了克服这一困难,就需要进行降维处理,即用较少的几个综合指标来代替原来较多的变量指标,而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息,同时它们之间又就是彼此独立的。
那么,这些综合指标(即新变量)应如何选取呢？显然,其最简单的形式就就是取原来变量指标的线性组合,适当调整组合系数,使新的变量指标之间相互独立且代表性最好。
如果记原来的变量指标为x 1,x 2,…,x p ,它们的综合指标——新变量指标为z 1,z 2,…,zm(m≤p)。
则11111221221122221122,,.........................................,p p p p m m m mp p z l x l x l x z l x l x l x z l x l x l x =+++⎧⎪=+++⎪⎨⎪⎪=+++⎩L L L (2)在(2)式中,系数l ij 由下列原则来决定:(1)z i 与z j (i≠j ;i,j=1,2,…,m)相互无关;(2)z 1就是x 1,x 2,…,x p 的一切线性组合中方差最大者;z 2就是与z 1不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者;……;z m 就是与z 1,z 2,……z m-1都不相关的x 1,x 2,…,x p 的所有线性组合中方差最大者。
matlab主成分分析主成分分析（PrincipalComponentAnalysis,PCA）是一种用来降低复杂数据集的维度的常用统计工具。
它的主要目的是把一组可能相关的变量（比如一组测量的实验数据）降维到一个更低维的表示中，从而找出数据中有意义的规律。
主成分分析可以从大量变量中选择出主导变量，可以用来剔除噪声，消除数据间的相关性，提取隐藏变量，简化数据集，以及建立统计模型。
Matlab一种常用的计算机科学编程语言，拥有强大的数学和图形处理功能，能够解决各种复杂的计算问题。
Matlab内置函数和第三方工具箱可以被用来实现主成分分析。
Matlab 中原生的主成分分析实现可以分为两步：一是数据准备，二是主成分分析。
数据准备是主成分分析过程中非常重要的一步，可以使用Matlab 中的函数实现。
主要包括提取变量、清洗数据和数据标准化三个部分。
提取变量可以通过从原始数据中选择需要的变量来实现，即将原始数据拟合到需要的维度中；清洗数据是指将原始数据中含有错误或者不可信的数据剔除；数据标准化则是指将原始数据的连续型变量转换成统一的数值范围，以便于分析。
主成分分析是从输入数据中学习到一组新的变量，这些变量能够说明输入数据中大部分的变量变化。
Matlab中主成分分析可以通过调用标准统计工具箱（Statistics and Machine Learning Toolbox）中的pca函数来实现，该函数能够从原始数据中抽取有意义的变量。
通过pca函数，可以在输入数据中学习到有意义的变量，并得到它们的系数和贡献率，以此说明主成分分析后数据的变化程度。
主成分分析的应用非常广泛，涉及到很多不同的领域。
如在统计学中用以进行常规数据分析，在计算机视觉中用来进行图像分析，在生物学中用于基因表达等。
Matlab供了强大的数学和图形处理能力，能够满足上述应用领域的需求，使用者可以通过原生函数和第三方工具箱快捷的实现主成分分析。
当然，主成分分析也有一些缺点，如把复杂的变量降维可能会损失一些原始数据的信息，也存在隐藏的偏差，因而也会影响分析的准确性。
主成分分析报告matlab程序主成分分析报告 Matlab 程序在数据分析和处理的领域中，主成分分析（Principal Component Analysis，PCA）是一种常用且强大的工具。
它能够将多个相关变量转换为一组较少的不相关变量，即主成分，同时尽可能多地保留原始数据的信息。
在 Matlab 中，我们可以通过编写程序来实现主成分分析，这为我们的数据处理和理解提供了极大的便利。
主成分分析的基本思想是找到数据中的主要方向或模式。
这些主要方向是通过对数据的协方差矩阵进行特征值分解得到的。
最大的特征值对应的特征向量就是第一主成分的方向，第二大的特征值对应的特征向量就是第二主成分的方向，以此类推。
在 Matlab 中，我们首先需要导入数据。
假设我们的数据存储在一个名为｀data` 的矩阵中，每一行代表一个观测值，每一列代表一个变量。
｀｀｀matlabdata ＝ load(＇your_data_filetxt'）；％替换为您的数据文件路径｀｀｀接下来，我们需要对数据进行中心化处理，即每个变量减去其均值。
｀｀｀matlabcentered_data ＝ data repmat(mean(data)， size(data, 1)， 1)；｀｀｀然后，计算协方差矩阵。
｀｀｀matlabcov_matrix ＝ cov(centered_data)；｀｀｀接下来进行特征值分解。
｀｀｀matlabV, D ＝ eig(cov_matrix)；｀｀｀｀V` 是特征向量矩阵，｀D` 是对角矩阵，其对角元素是特征值。
我们对特征值进行从大到小的排序，并相应地对特征向量进行重新排列。
｀｀｀matlablambda, index ＝ sort(diag(D)，＇descend'）；sorted_V ＝ V(：， index)；｀｀｀此时，｀sorted_V` 的每一列就是一个主成分的方向。
为了计算每个观测值在主成分上的得分，我们可以使用以下代码：｀｀｀matlabprincipal_components ＝ centered_data sorted_V;｀｀｀我们还可以计算每个主成分解释的方差比例。
主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。
通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21 F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型 对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫⎝⎛=np n n p p x x x x x x x x x X 212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p pp p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =） ②1F 的方差大于2F 的方差大于3F 的方差.依次类推 ③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。
§9. 利用Matlab 和SPSS 实现主成分分析1.直接调用Matlab 软件实现在软件Matlab 中实现主成分分析可以采取两种方式实现：一是通过编程来实现；二是直接调用Matlab 中自带程序实现。
通过直接调用Matlab 中的程序可以实现主成分分析：)(]2,var ,,[X princomp t iance score pc =式中：X 为输入数据矩阵⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nm n n m m x x x x x x x x x X 212222111211（一般要求n>m ）输出变量：①pc 主分量f i 的系数，也叫因子系数；注意：pc T pc=单位阵②score 是主分量下的得分值；得分矩阵与数据矩阵X 的阶数是一致的； ③variance 是score 对应列的方差向量，即A 的特征值；容易计算方差所占的百分比percent-v = 100*variance/sum(variance); ④t2表示检验的t2-统计量（方差分析要用） 计算过程中应用到计算模型:ξ+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡m T p x x x A f f f 2121 (要求p<m )例：表1为某地区农业生态经济系统各区域单元相关指标数据，运用主成分分析方法可以用更少的指标信息较为精确地描述该地区农业生态经济的发展状况。
表1 某农业生态经济系统各区域单元的有关数据样本序号 x 1：人口密度(人/km 2) x 2：人均耕地面积(ha) x 3：森林覆盖率(%) x 4：农民人均纯收入(元/人) x 5：人均粮食产量 (kg/人) x 6：经济作物占农作物播面比例(％)x 7：耕地占土地面积比率(％) x 8：果园与林地面积之比(％) x 9：灌溉田占耕地面积之比(％)1 363.912 0.352 16.101 192.11 295.34 26.724 18.492 2.231 26.262 2 141.503 1.684 24.301 1 752.35 452.26 32.314 14.464 1.455 27.066 3 100.695 1.067 65.601 1 181.54 270.12 18.266 0.162 7.474 12.489 4 143.739 1.336 33.205 1 436.12 354.26 17.486 11.805 1.892 17.534 5 131.412 1.623 16.607 1 405.09 586.59 40.683 14.401 0.303 22.932 6 68.337 2.032 76.204 1 540.29 216.39 8.128 4.065 0.011 4.861 7 95.416 0.801 71.106 926.35 291.52 8.135 4.063 0.012 4.862 8 62.901 1.652 73.307 1 501.24 225.25 18.352 2.645 0.034 3.2019 86.624 0.841 68.904 897.36 196.37 16.861 5.176 0.055 6.167 10 91.394 0.812 66.502 911.24 226.51 18.279 5.643 0.076 4.477 11 76.912 0.858 50.302 103.52 217.09 19.793 4.881 0.001 6.165 12 51.274 1.041 64.609 968.33 181.38 4.005 4.066 0.015 5.402 13 68.831 0.836 62.804 957.14 194.04 9.110 4.484 0.002 5.790 14 77.301 0.623 60.102 824.37 188.09 19.409 5.721 5.055 8.413 15 76.948 1.022 68.001 1 255.42 211.55 11.102 3.133 0.010 3.425 16 99.265 0.654 60.702 1 251.03 220.91 4.383 4.615 0.011 5.593 17 118.505 0.661 63.304 1 246.47 242.16 10.706 6.053 0.154 8.701 18 141.473 0.737 54.206 814.21 193.46 11.419 6.442 0.012 12.945 19 137.761 0.598 55.901 1 124.05 228.44 9.521 7.881 0.069 12.654 20 117.612 1.245 54.503 805.67 175.23 18.106 5.789 0.048 8.461 21122.7810.731 49.102 1 313.11 236.29 26.724 7.162 0.092 10.078对于上述例子，Matlab 进行主成分分析，可以得到如下结果。
