一种基于主成分分析算法的网络异常检测实现
付 强,甘 亮,李爱平,吴泉源
(国防科学技术大学计算机学院,湖南长沙410073)
[摘要] 针对分布式网络的网络异常检测,提出一种多维数据特征自适应的异常检测算法,算法在主成分分析算法(PCA )的基础上进行异常特征自适应修正.在对网络流量数据经过了PCA 处理后,确定贡献率高的维度,给出异常与维度特征的关联,进行特征自适应修正.实验结果表明,算法降低了网络异常检测的执行开销,提高了网络异常检测的报警精度.
[关键词] 网络异常,PCA,自适应算法
[中图分类号]TP 393 [文献标识码]A [文章编号]167221292(2008)0420013204
Im plem en t a ti on of Adapti n g Aglor ithm of Ano ma li es D etecti on Ba sed on PCA
Fu Q iang,Gan L iang,L i A i p ing,W u Quanyuan
(School of Computer Science,Nati onal University of Defense Technol ogy,Changsha 410073,China )
Abstract:A i m ing at the net w ork anomaly detecti on of distributed net w orks,the paper suggests a multidi m ensi onal adap 2ting algorith m of anomalies detecti on .The algorith m,based on PCA,can change itself aut omatically f or ne w anomaly .Having p r ocessed net w ork fl ow data by PCA algorith m s,we can get the di m ensi ons which contribute most and give the relati on bet w een anomalies and di m ensi ons,and make self 2adap ti on of features .The experi m ental results show that the algorith m reduces the cost of net w ork anomaly detecti on,and i m p r oves the alert p recisi on of net w ork anomaly detecti on .Key words:net w ork anomaly,PCA,adap ting agl orith m
收稿日期:2008206218.基金项目:国家“863”计划(2007AA01Z474、2006AA01Z451和2007AA010502)资助项目.通讯联系人:吴泉源,教授,博士生导师,研究方向:人工智能和网络安全.E 2mail:quanyuqn -wu@live .cn
网络流量异常检测在网络安全监控中具有重要意义,它可以对异常事件有可能给网络造成拥塞以及
网络安全攻击(如DDOS )起到提前预测的作用,从而降低甚至避免损失.本文主要采用主成分分析(PCA )算法进行预处理,后期对数据进行自适应调整.在时间层面上考虑高效性,通过对网络流量检测中的复杂特征项进行降维处理,通过自适应算法,剔除对检测结果贡献率小的特征项,直接定位在影响检测的主特征项上,避免了计算冗余,提高了检测的后续处理速度.在空间层面上通过增加特征表项来提高检测效果,根据异常特征对流量数据进行分流处理,通过增加异常分类数据表,针对特定的网络异常实施有针对化的处理,提高了对大量数据的检索速度和检测命中率,用空间上的开销获得了速度性能上的提高.
网络流量数据通过PCA 处理后,通过自适应的递归迭代算法对流量数据进行深度检测,准确定位异常种类,并且对未知异常给出警告处理,建立新的类别异常,使其成为后续检测新的异常类别区分方法.
1 相关研究
在流量异常检测处理方面,国内外的很多学者和相关研究人员提出了很多检测方法.比较经典的流量检测方法是基于阈值的检测方法,这种方法通过对历史数据的分析建立正常的参考基线范围,一旦超出此范围就判断为异常.基于统计的检测,如一般似然比(G LR )检测方法,它考虑两个相邻的时间窗口以及将这两个窗口合并之后的窗口,对这些窗口采用自回归模型拟合,并计算各窗口序列残差的联合似然比,然
后与某个预先设定的阈值进行比较,当超过阈值时,则窗口边界被认定为异常点[1]
.基于变换域的方法通常将时域的流量信号变换到频域或者小波域,然后依据变换后的空间特征进行异常检测.Barf ord P 等人将
小波分析理论运用于流量异常检测[1]
,并给出了基于其理论的4类异常结果,但是该方法复杂性太高,时间耗费又太大,不适合应用于大规模的网络流量.Lakhina 等人将源和目标之间的数据流高维结构空间进
第8卷第4期2008年12月 南京师范大学学报(工程技术版)
JOURNAL OF NANJ I N G NORMAL UN I V ERSI TY (ENGI N EER I N G AND TECHNOLOGY E D I TI O N ) Vol .8No .4Dec,2008
行PCA降维分解[2],归结到主成分上,重构网络流的特征,并以此发展出一套检测方法.基于Markov模型的网络状态转换概率检测方法,将每种类型的事件定义为系统状态[3],通过过程转换模型来描述所预测的正常的网络特征,当到来的流量特征与期望特征产生偏差时进行报警.
上述算法在应用到Netfl ow上的大规模流量检测上都有一些弊端和不足.本文集成了上述某些算法的优点,并在实际应用中对其进行了适应性的改进,使得时间效率、速度和检测准确性得到了相应提高.
2 PCA的自适应算法
211 PCA数据降维的原理
设x=(x
1
,x2,…x p)是P维随机变量,U是正交矩阵,使得y=U x具有cov y=U cov xU=Λ的协方
差阵,则称y
i 是(关于x的)第i个主成分,i=1…,p,并称
λ
i
∑p
j=1
λ
i
是第i个主成分贡献率.
∑k
j=i
λ
i
∑p
j=1
λ
i
是前k个主
成分的累计贡献率,其中Λ是对角阵diag(λ
1
,λ2…λp),λ1≥λ2≥…≥λp≥0,这里λp是cov x的特征值.
现记U=(u
1
u2…u p),则u i正是cov x的相应于λi的特征向量,如特征值中有一部分为零(设为λr+1=λr+2 =…=λp=0),这意味着y r+1,…,y p可不必在统计中给予评论,但是cov x不一定退化,即λp>0,我们不
会应用p个主成分,主成分的目的是为了减少变量的个数,所以一般用m j=i λ i ∑p j=1 λ i ≥ α就可.由于y i =u i·x,所以一个主成分对应着cov x的一个特征向量,故在实际中主要求出cov x的特征向量及特征值并且按照α的值进行筛选,就可以得到主成分. 212 自适应类别划分检测方法 自适应类别划分方法对于以往经验取得的网络异常特征进行细化,获得相关异常的经验特征,并以此对网络流量分类,将分类情况作为数据检测的首选.因网络上的异常大部分都是已经过确定入库的异常事件(如表1),当按以往经验建立的分类标准无法将某个异常点归于某类时,就需要自适应地去建立新的异常类别.此时,经过维度的缩减,确定了某几个数据特征确实不能吻合以往的类别而又非正常时,将自适应地添加新的异常情况入经验库,并给出分析概率,当建立起新的特征库后,就可增加比对检测的程序. 表1 网络流量异常分类 Table1 Anoma ly of netflow traff i c 异常定义特征示例 Dos, DDos 对一台受害主机的(分布式)拒绝服 务攻击 单个目的I P,源I P无特殊性,一般不 超过20m in 多台主机同时向单个目的I P的易受 Dos攻击端口发送大量数据 F LASH CROWD 对资源或服务非正常的大量需求 在单个目的I P,特殊端口的数据包, 持续时间短 多台主机对单个I P的大量web请求 (80端口) SCAN 扫描主机脆弱性端口 扫描网络中的目标端口 单个源I P,目的I P和端口无特殊性, 低于10m in 对139(Net B I O S)端口的网络扫描 WORM 利用安全缺陷,自繁殖代码在网络中 传播 对I P地址无特殊性,有特殊的端口1433端口流量(MSS QL2Snake蠕虫) 对于正常的网络数据流,有y^ n+1=ay n+a(1-a)y n-1+a(1-a)2y n-2且y^n=∑ ∞ i=0 w i y n-i,w i为权值,累 加后为1,w i =a3(1-a)i.y^n+1=ay n+a(1-a)y n-1+a(1-a)2y n-2,y^n+1=ay n+(1-a)y^n.其中y^n+1 是下一个预测的值,y n 是当前的观测值,y^ n 是前一次检测的预测值,y^ n 为上一次检测后得到的确定值.a是 一个平滑整个迭代过程的参数,经过之前1h的数据检测,建立合适的a值,初始设定为1,每次修正增加或者减少011单位.对于y^ n ,变换其不同的特征项,获取不同的异常检测迭代等式,当出现检测结果与预测结果发生偏差时,对网络流的数据进一步深度匹配检测,如果在匹配时没有相应的特征项所带来的异常定义,则提示用户对其进行分析确立新的异常点.系统实现中的算法如表2所示. 南京师范大学学报(工程技术版) 第8卷第4期(2008年) 付 强,等:一种基于主成分分析算法的网络异常检测实现 表2 算法伪码实现 Table2 Rea li za ti on of the a lgor ith m 算法名称:数据降维检测算法 输入:Data A rray1[];//存储原始网络流量数据 Data A rray2[];//存储要关注的每种异常的特征 Anor malyFlag[];//异常标示分类表 α;//权重 输出:异常分类表,异常检测结果 过程: Get CurrentTi m e(); W hile(each m inute in recent1hour) { Read netfl ow data fr om Data Base; - St ore in DataA rray1[]; while(Anor malyFlag[i]is not null,i++) {PCA(α,Data A rray1,Anor malyFlag,Data A rray2); Detect(Anor malyFlag,Data A rray2,α);}} Functi on PCA(arg1,arg2,arg3,arg4) {DataA rray2=Matrix(Data A rray1);//对原始数据进行处理得到最后的相关矩阵,按照选取m值的标准对原始数据特征进行筛选,放入Data A rray2中去,同时确定α是否为调整值的增量 } Functi on Detect(arg1,arg2.arg3) { 按照Anor malyFlag的异常定义对Data A rray2进行检测,相当于DataA rray2流经Anor malyFlag规定的异常槽,当出现波动时,修改α的增量和对PCA的回馈并且将预测值与实际进行比较,从而修改检测的波动区间 } 系统的整体网络流检测框架如图1所示. 3 基于PCA的自适应算法在网络 异常检测中的实现 实际测试中采用了Netfl ow中的数据进行 了实验和测试,数据的采集是采用思科的网上 数据采集设备,原始数据主要有以下特征:源 I P、目的I P、源端口、目的端口、协议号、字节长 度,包数据量;其中源I P是发起连接的机器地 址或者序列号,目的I P是报文要到达的机器地 址,源端口和目的端口分别指源主机和目标主 机开启的端口,协议号和字节长度以及包数量 都是报文方面的信息.对于上述的数据,又抽离 出了如下的多维向量,分别按照单位时间内发 生的流量中的源I P数量、目的I P数量、每种协 议的发生次数、源端口数量、目的端口数量、包 数据量、字节数据量、T OP1源I P、T OP1目的I P、T OP1协议、T OP1源端口、T OP1目的端口等一系列待选维度,通过每一分钟取样一次,跨度60m in的数据对网络流量异常情况进行检测. 设定矩阵模型Y,利用产生向量维度函数在候选维度集合里选择m个候选维,置初始修正参数m为k,循环提取数据项各列,随机抽取k个作为候选维度,并标记每个数据项的可用性,读取对应于候选维度的相应数据,并添加到Y矩阵,对Y矩阵应用PCA算法进行处理.对贡献率小于a的维进行剔除,对贡献率大于r的维度,增加m值,将最新的m值传给维度控制函数,作为维度控制函数下一次获取维度的依据,对于贡献率大于a、小于r的维度,作为衡量网络出现某种异常的标准.对经过PCA处理的矩阵Y进行分类划分,划分正常与异常类别,对取得的这几个贡献率大的维度取均值与类别尺度进行比对,当某一分钟内的均值与以往的差超过一定阀值的时候就把它作为异常处理,并且确定了为何种异常,如图2所示.当通过自适应检测算法进行处理后,根据关注点的不同,会有不同的异常检测结果. 4 对实验结果的分析 经过在Netfl o w 实际数据上的检测,发现经过降维后的数据和直接检测在速度上的提高.在同样的机器配置条件下,流量相同情况下处理速度的对比见图3;通过自适应的检测算法后,自行调整阈值,在异常的检测上的效果见图4. 图3结果展示了流量发生变化后,处理相关数据流所耗费的时间情况.而未经处理的数据流,在没有流量增加大的情况下,与降维处理的速度有了差别.图4结果中,阈值线1之间对应的是异常情况1,可以看到,异常数累计是增加的,这样阈值不能覆盖60%异常情况,会带来预警的丢失;阈值线2对应的异常情况2,可以看到,经过处理,大部分异常都落在了阈值α之间,对于异常能够达到覆盖率50%以上或不低于此指标 . 5 结语 试验结果说明,在对大流量数据进行降维处理后,能够很好地提高检测速度,在对网络数据流进行自适应的异常检测后,检测效果得到了改进,实现起来也容易些.但是,因为自适应是建立在特征维度匹配上的,需要建立特征经验组,而且对于没有关注过的异常,需要进行长时间的检测来确定适应的阈值. [参考文献](References ) [1]Huang L ing,Nguye Xuanl ong,M inos Gar ofalakis,et al .Communicati on 2efficient online detecti on of net w ork 2wide anomaliesk [C ]//Pr oceedings of the 26th I EEE I nternati onal Conference on Computer Communicati ons .Anchorage,AK:I EEE Computer Society Press,2007:1342142. [2]L i Xiaolei,Han J ia wei .M ining app r oxi m ate Top 2K subs pace anomalies in multidi m ensi onal ti m eseries data[C ]//Pr oceedings of the 33rd I nternati onal Conference on Very Large Data Bases .V ienna,Austria:VLDB Endowment,2007:4472458.[3]L i Xin,B ian Fang,Cr ovella M ark,et al .Detecti on and identificati on of net w ork anomalies using sketch subs paces[C ]//Pr o 2 ceedings of the 6th AC M SI GC OMM Conference on I nternetMeasure ment .Ne w Yr ok,US A:AC M ,2006:1472152. [责任编辑:严海琳] 南京师范大学学报(工程技术版) 第8卷第4期(2008年) 第14章主成分分析 1 概述 1.1 基本概念 1.1.1 定义 主成分分析是根据原始变量之间的相互关系，寻找一组由原变量组成、而彼此不相关的综合变量，从而浓缩原始数据信息、简化数据结构、压缩数据规模的一种统计方法。 1.1.2 举例 为什么叫主成分，下面通过一个例子来说明。 假定有N 个儿童的两个指标x1与x2，如身高和体重。x1与x2有显著的相关性。当N较大时，N观测量在平面上形成椭圆形的散点分布图，每一个坐标点即为个体x1与x2的取值，如果把通过该椭圆形的长轴取作新坐标轴的横轴Z1，在此轴的原点取一条垂直于Z1的直线定为新坐标轴的Z2，于是这N个点在新坐标轴上的坐标位置发生了改变；同时这N个点的性质也发生了改变，他们之间的关系不再是相关的。很明显，在新坐标上Z1与N个点分布的长轴一致，反映了N个观测量个体间离差的大部分信息，若Z1反映了原始数据信息的80%，则Z2只反映总信息的20%。这样新指标Z1称为原指标的第 358 一主成分，Z2称为原指标的第二主成分。所以如果要研究N个对象的变异，可以只考虑Z1这一个指标代替原来的两个指标（x1与x2），这种做法符合PCA提出的基本要求，即减少指标的个数，又不损失或少损失原来指标提供的信息。 1.1.3 函数公式 通过数学的方法可以求出Z1和Z2与x1与x2之间的关系。 Z1=l11x1+ l12x2 Z2=l21x1+ l22x2 即新指标Z1和Z2是原指标x1与x2的线性函数。在统计学上称为第一主成分和第二主成分。 若原变量有3个，且彼此相关，则N个对象在3维空间成椭圆球分布，见图14-1。 通过旋转和改变原点（坐标0点），就可以得到第一主成分、第二主成分和第三主成分。如果第二主成分和第三主成分与第一主成高度相关，或者说第二主成分和第三主成分相对于第一主成分来说变异很小，即N个对象在新坐标的三维空间分布成一长杆状时，则只需用一个综合指标便能反映原始数据中3个变量的基本特征。 359 主成分分析的操作过程 原始数据如下（部分） 调用因子分析模块（Analyze―Dimension Reduction―Factor），将需要参与分析的各个原始变量放入变量框，如下图所示： 单击Descriptives按钮，打开Descriptives次对话框，勾选KMO and Bartlett’s test of sphericity选项（Initial solution选项为系统默认勾选的，保持默认即可），如下图所示，然后点击Continue按钮，回到主对话框： 其他的次对话框都保持不变（此时在Extract次对话框中，SPSS已经默认将提取公因子的方法设置为主成分分析法），在主对话框中点OK按钮，执行因子分析，得到的主要结果如下面几张表。 ①KMO和Bartlett球形检验结果： KMO为0.635>0.6，说明数据适合做因子分析；Bartlett球形检验的显著性P值为 0.000<0.05，亦说明数据适合做因子分析。 ②公因子方差表，其展示了变量的共同度，Extraction下面各个共同度的值都大于0.5，说明提取的主成分对于原始变量的解释程度比较高。本表在主成分分析中用处不大，此处列出来仅供参考。 ③总方差分解表如下表。由下表可以看出，提取了特征值大于1的两个主成分，两个主成分的方差贡献率分别是55.449%和29.771%，累积方差贡献率是85.220%；两个特征值分别是3.327和1.786。 ④因子截荷矩阵如下： 根据数理统计的相关知识，主成分分析的变换矩阵亦即主成分载荷矩阵U 与因子载荷矩阵A 以及特征值λ的数学关系如下面这个公式： λi i i A U = 故可以由这二者通过计算变量来求得主成分载荷矩阵U 。 新建一个SPSS 数据文件，将因子载荷矩阵中的各个载荷值复制进去，如下图所示： 计算变量（Transform-Compute Variables ）的公式分别如下二张图所示： 主成分分析 类型：一种处理高维数据的方法。 降维思想：在实际问题的研究中，往往会涉及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。 一、总体主成分 1.1 定义 设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为 ()[(())(())], T ij p p E X E X X E X σ?∑==-- 它是一个 p 阶非负定矩阵。设 1111112212221122221122T p p T p p T p p p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X ?==+++? ==+++?? ??==+++? （1） 则有 ()(),1,2,...,, (,)(,),1,2,...,. T T i i i i T T T i j i j i j V ar Y V ar l X l l i p C ov Y Y C ov l X l X l l j p ==∑===∑= （2） 第 i 个主成分： 一般地，在约束条件 1T i i l l = 及 (,)0,1,2,..., 1.T i k i k C ov Y Y l l k i =∑==- 下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的 T i i Y l X = 称为 X 1，X 2，…，X p 的第 i 个主成分。 1.2 总体主成分的计算 设 ∑是12(,,...,) T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特 征向量分别为 120p λλλ≥≥≥≥ 及 12,,...,, p e e e 则 X 的第 i 个主成分为 1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3） 此时 (),1,2,...,,(,)0,. T i i i i T i k i k V ar Y e e i p C ov Y Y e e i k λ?=∑==??=∑=≠?? 1.3 总体主成分的性质 1.3.1 主成分的协方差矩阵及总方差 记 12(,,...,) T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且 12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ= 由此得主成分的总方差为 1 1 1 ()()()()(),p p p T T i i i i i i V ar Y tr P P tr P P tr V ar X λ ==== =∑=∑=∑= ∑∑∑ 即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差 §8 实例 实例1 计算得 1x =71.25，2x =67.5 分析1：基于协差阵∑ 求主成分。 369.6117.9117.9214.3S ?? = ??? 特征根与特征向量（Ｓ无偏，用SPSS ） Factor 1 Factor 2 11x x - 0.880 -0.474 22x x - 0.474 0.880 特征值 433.12 150.81 贡献率 0.7417 0.2583 注：样本协差阵为无偏估计11(11)1n n n S X I X n n ''= --， 所以，第一、二主成分的表达式为 112212 0.88(71.25)0.47(67.5) 0.47(71.25)0.88(67.5)y x x y x x =-+-?? =--+-? 第一主成分是英语与数学的加权和（反映了综合成绩），且英语的权数要大于数学的权数。1y 越大，综合成绩越好。（综合成分） 第二主成分的两个系数异号（反映了两科成绩的均衡性）。不妨将英语称为文科，数学称为理科。2y 越大，说明偏科（文、理成绩不均衡），2y 越小，越接近于零，说明不偏科（文、理成绩均衡）。（结构成分） 问题：英语的权数为何大？如何解释？ 分析2： 基于相关阵R 求主成分。因为 1x =71.25，2x =67.5 所以相关阵 11R ? =? ? ? 解得R 的特征根为：1λ=1.419，2λ=0.581，对应的单位特征向量分别为： Factor 1 Factor 2 11 1x x s - 0.707 0.707 22 2 x x s - 0.707 -0.707 特征根 1.419 0.581 贡献率 0.709 0.291 所以，第一、二主成分的表达式为 12112271.2567.50.7070.70717.9813.6971.2567.50.7070.70717.9813.69x x y x x y --? =+=+?? ? --?=-=-?? 1122120.039(71.25)0.052(67.5) 0.039(71.25)0.052(67.5)y x x y x x =-+-?? =---? 112212 0.0390.052 6.273 0.0390.0520.671y x x y x x =+-?? =-+? * 2*11707.0707.0x x y += *2*12707.0707.0x x y -= 基于相关阵的更说明了： 第一主成分是英语与数学的加权总分。 第二主成分是对两科成绩均衡性的度量。 此例说明：基于协差阵与基于相关阵的主成分分析的结果不一致。结合此例的实际背景，经对比分析可知，基于协差阵的主成分分析更符合实际。 主成分分析法(PCA) 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之间常常存在一定的相关性。由于变量个数较多再加上变量之间的相关性，势必增加了分析问题的复杂性。如何从多个变量中综合为少数几个代表性变量，既能够代表原始变量的绝大多数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进行主成分分析。 I. 主成分分析法(PCA)模型 （一）主成分分析的基本思想 主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，使这些综合变量能尽可能地代表原来变量的信息量，而且彼此之间互不相关。这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F ，自然希望它尽可能多地反映原来变量的信息，这里“信息”用方差来测量，即希望)(1F Var 越大，表示1F 包含的信息越多。因此在所有的线性组合中所选取的1F 应该是方差最大的，故称1F 为第一主成分。如果第一主成分不足以代表原来p 个变量的信息，再考虑选取2F 即第二个线性组合，为了有效地反映原来信息，1F 已有的信息就不需要再出现在2F 中，用数学语言表达就是要求 0),(21=F F Cov ，称2F 为第二主成分，依此类推可以构造出第三、四……第p 个主成分。 （二）主成分分析的数学模型 对于一个样本资料，观测p 个变量p x x x ,,21，n 个样品的数据资料阵为： ??????? ??=np n n p p x x x x x x x x x X 21 222 21112 11()p x x x ,,21= 主成分分析计算方法和步骤： 在对某一事物或现象进行实证研究时,为了充分反映被研究对象个体之间的差异, 研究者往往要考虑增加测量指标,这样就会增加研究问题的负载程度。但由于各指标都是对同一问题的反映,会造成信息的重叠,引起变量之间的共线性,因此,在多指标的数据分析中,如何压缩指标个数、压缩后的指标能否充分反映个体之间的差异,成为研究者关心的问题。而主成分分析法可以很好地解决这一问题。 主成分分析的应用目的可以简单地归结为: 数据的压缩、数据的解释。它常被用来寻找和判断某种事物或现象的综合指标,并且对综合指标所包含的信息给予适当的解释, 从而更加深刻地揭示事物的内在规律。 主成分分析的基本步骤分为: ①对原始指标进行标准化,以消除变量在数量极或量纲上的影响;②根据标准化后的数据矩阵求出相关系数矩阵 R; ③求出 R 矩阵的特征根和特征向量; ④确定主成分,结合专业知识对各主成分所蕴含的信息给予适当的解释;⑤合成主成分,得到综合评价值。 结合数据进行分析 本题分析的是全国各个省市高校绩效评价，利用全国2014年的相关统计数据(见附录)，从相关的指标数据我们无法直接评价我国各省市的高等教育绩效，而通过表5-6的相关系数矩阵，可以看到许多的变量之间的相关性很高。如：招生人数与教职工人数之间具有较强的相关性，教育投入经费和招生人数也具有较强的相关性，教工人数与本科院校数之间的相关系数最高，到达了0.963，而各组成成分之间的相关性都很高，这也充分说明了主成分分析的必要性。 表5-6 相关系数矩阵 本科院校 数招生人数教育经费投入 相关性师生比0.279 0.329 0.252 重点高校数0.345 0.204 0.310 教工人数0.963 0.954 0.896 本科院校数 1.000 0.938 0.881 招生人数0.938 1.000 0.893 重金属多组分分析的研究现状 近年来，随着科技的进步，单组分重金属的检测技术已经非常成熟，但是在实际污染体系中重金属离子种类繁多，且它们之间往往存在相互干扰，传统的化学分析方法和化学分析仪器难以一次性精确的检测出各个重金属离子的浓度，需要对共存组分进行同时测定。 对共存组分进行同时测定，传统的化学分析方法是首先通过加入各种掩蔽剂进行组分的预分离，然后采用单组分重金属检测技术进行分析检测。这种方法的分离过程往往冗长繁琐，实验条件苛刻，费时费力，而且检测精度低，无法应用于污染现场的检测。 随着计算机科学技术、光谱学和化学信息学的发展，复杂体系的多组分分析已成为当今光谱技术的研究热点，应用范围涉及环境监测、石油化工、高分子化工、食品工业和制药工业等领域，而且需求日益显著。由于多重金属离子共存时会产生重金属离子间的相互作用，因此在用化学分析仪器检测时会产生相干数据干扰，对实验结果产生影响，为了使测试结果更加准确，需要在实验的基础上建立数学模型，用于数据处理，消除各重金属离子共存时产生的相干数据干扰。近年来，引入化学计量学手段，用“数学分离”部分代替复杂的“化学分离”，从而达到重金属离子的快速、简便分析测定[1]。 化学计量学是一门通过统计学或数学方法将对化学体系的测量值与体系的状态之间建立联系的学科，它应用数学、统计学和其他方法和手段（包括计算机）选择最优试验设计和测量方法，并通过对测量数据的处理和解析，最大限度地获取有关物质系统的成分、结构及其他相关信息。目前，已有许多化学计量学方法从不同程度和不同方面解决了分析化学中多组分同时测定的问题，如偏最小二乘法（PLS）、主成分回归法（PCR）、Kalman滤波法、多元线性回归（MLR）等，这些方法减少了分离的麻烦，并使试验更加科学合理。 (1) 光谱预处理技术 这些方法用来降噪、消除无关信息。 ①主成分分析法 在处理多元样本数据时，假设总体为X=（x1,x1,x3…xn），其中每个xi （i=1,2,3,…n）为要考察的数量指标，在实践中常常遇到的情况是这n个指标之间存在着相关关系。如果能从这n个指标中构造出k个互不相关的所谓综合指标（k SPSS软件进行主成分分析的应用例子 SPSS软件进行主成分分析的应用例子 2002年16家上市公司4项指标的数据[5]见表2，定量综合赢利能力分析如下： 公司销售净利率（X1）资产净利率（X2）净资产收益率（X3）销售毛利率（X4） 歌华有线五粮液用友软件太太药业浙江阳光烟台万华方正科技红河光明贵州茅台中铁二局红星发展伊利股份青岛海尔湖北宜化雅戈尔福建南纸43.31 17.11 21.11 29.55 11.00 17.63 2.73 29.11 20.29 3.99 22.65 4.43 5.40 7.06 19.82 7.26 7.39 12.13 6.03 8.62 8.41 13.86 4.22 5.44 9.48 4.64 11.13 7.30 8.90 2.79 10.53 2.99 8.73 17.29 7.00 10.13 11.83 15.41 17.16 6.09 12.97 9.35 14.3 14.36 12.53 5.24 18.55 6.99 54.89 44.25 89.37 73 25.22 36.44 9.96 56.26 82.23 13.04 50.51 29.04 65.5 19.79 42.04 22.72 第一，将EXCEL中的原始数据导入到SPSS软件中； 注意： 导入Spss的数据不能出现空缺的现象，如出现可用0补齐。 【1】“分析”|“描述统计”|“描述”。 【2】弹出“描述统计”对话框，首先将准备标准化的变量移入变量组中，此时，最重要的一步就是勾选“将标准化得分另存为变量”，最后点击确定。 【3】返回SPSS的“数据视图”，此时就可以看到新增了标准化后数据的字段。 所做工作： a. 原始数据的标准化处理 一、主成分分析基本原理 概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法。从数学角度来看，这是一种降维处理技术。 思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。 原理：假定有n 个样本，每个样本共有p 个变量，构成一个n ×p 阶的数据矩阵， 记原变量指标为x 1，x 2，…，x p ，设它们降维处理后的综合指标，即新变量为 z 1，z 2，z 3，… ，z m (m ≤p)，则 系数l ij 的确定原则： ①z i 与z j （i ≠j ；i ，j=1，2，…，m ）相互无关； ②z 1是x 1，x 2，…，x P 的一切线性组合中方差最大者，z 2是与z 1不相关的x 1，x 2，…，x P 的所有线性组合中方差最大者； z m 是与z 1，z 2，……，z m －1都不相关的x 1，x 2，…x P ， 的所有线性组合中方差最大者。 新变量指标z 1，z 2，…，z m 分别称为原变量指标x 1，x 2，…，x P 的第1，第2，…，第m 主成分。 从以上的分析可以看出，主成分分析的实质就是确定原来变量x j （j=1，2 ，…， p ）在诸主成分z i （i=1，2，…，m ）上的荷载 l ij （ i=1，2，…，m ； j=1，2 ，…，p ）。 ?????? ? ???????=np n n p p x x x x x x x x x X 2 1 2222111211 ?? ??? ? ?+++=+++=+++=p mp m m m p p p p x l x l x l z x l x l x l z x l x l x l z 22112222121212121111............ SFA方法和因子分析法综述 （姬晓鹏，管理科学与工程，1009209018） 1.1DEA方法和SFA方法的区别 1.数据包络分析（DEA） 数据包络分析(data envelopment analysis)简称DEA,采用线性规划技术，是最常用的一种非参数前沿效率分析法。它由A.Charnes和W.W.Cooper[1]等人于1978年创建的，以相对效率为基础对同一类型的部门的绩效进行评价。 该方法将同一类型的部门或单位当作决策单元(DMU)，其评价依据的是所能观测到的决策单元的输入数据和输出数据。输入数据是指决策单元在某种活动中所消耗的某些量，如投入资金量、原料量等，输出数据是指决策单元消耗这些量所获得的成果和产出，如产品产量、收入金额等。将各决策单元的输入输出数据组成生产可能集所形成的生产有效前沿面，通过衡量每个决策单元离此前沿面的远近，来判断该决策单元的投入产出的合理性，即技术效率[2]。 一般的评价方法比较同一类型的决策单元的效率，需要先对决策单元的输入输出指标进行比较，并通过加权得到一个综合评分，然后通过各个决策单元的评分来反映其效益优劣。数据包络分析法则巧妙地构造了目标函数，并通过Charnes －Cooper变换（称为2 C－变换）将分式规划问题转化为线性规划问题，无需统一指标的量纲，也无需给定或者计算投入产出的权值，而是通过最优化过程来确定权重，从而使对决策单元的评价更为客观。对建筑设计企业进行评价的问题，很适于数据包络分析法的评价模型。 DEA方法也存在着一些缺点：首先，当决策单元总数与投入产出指标总数接近时，DEA方法所得的技术效率与实际情况偏差较大；其次，DEA方法对技术有效单元无法进行比较；此外，由于未考虑到系统中随机因素的影响，当样本中存在着特殊点时，DEA方法的技术效率结果将受到很大影响。彭晓英等用因子分析法对指标进行筛选和综合，再采用DEA方法进行评价，解决了DEA方法对指标数量限制的问题，并对煤炭资源型城市的生态经济发展进行了评价[3]。 SFA与DEA方法都是前沿效率评价方法，它们都是通过构造生产前沿面来计算技术效率的。与DEA方法相比，SFA方法利用生产函数来构造生产前沿面，并采用技术无效率项的条件期望来作为技术效率，其结果受特殊点的影响较小且 利用Matlab 编程实现主成分分析 1.概述 Matlab 语言是当今国际上科学界 (尤其是自动控制领域) 最具影响力、也是 最有活力的软件。它起源于矩阵运算，并已经发展成一种高度集成的计算机语言。它提供了强大的科学运算、灵活的程序设计流程、高质量的图形可视化与界面设计、与其他程序和语言的便捷接口的功能。Matlab 语言在各国高校与研究单位起着重大的作用。主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 1.1主成分分析计算步骤 ① 计算相关系数矩阵 ?? ? ???? ???? ?? ?=pp p p p p r r r r r r r r r R 2 122221 11211 （1） 在（3.5.3）式中，r ij （i ，j=1，2，…，p ）为原变量的xi 与xj 之间的相关系数，其计算公式为 ∑∑∑===----= n k n k j kj i ki n k j kj i ki ij x x x x x x x x r 1 1 2 2 1 )() () )(( （2） 因为R 是实对称矩阵（即r ij =r ji ），所以只需计算上三角元素或下三角元素即可。 ② 计算特征值与特征向量 首先解特征方程0=-R I λ，通常用雅可比法（Jacobi ）求出特征值 ),,2,1(p i i =λ，并使其按大小顺序排列，即0,21≥≥≥≥p λλλ ；然后分别求 出对应于特征值i λ的特征向量),,2,1(p i e i =。这里要求i e =1，即112 =∑=p j ij e ，其 中ij e 表示向量i e 的第j 个分量。 ③ 计算主成分贡献率及累计贡献率 主成分i z 的贡献率为 ),,2,1(1 p i p k k i =∑=λ λ 累计贡献率为 ) ,,2,1(11 p i p k k i k k =∑∑==λ λ 一般取累计贡献率达85—95%的特征值m λλλ,,,21 所对应的第一、第二，…，第m （m ≤p ）个主成分。 ④ 计算主成分载荷 其计算公式为 ) ,,2,1,(),(p j i e x z p l ij i j i ij ===λ （3） 1、主成分法： 用主成分法寻找公共因子的方法如下： 假定从相关阵出发求解主成分，设有p 个变量，则可找出p 个主成分。将所得的p 个主成分按由大到小的顺序排列，记为1Y ，2Y ，…，P Y ， 则主成分与原始变量之间存在如下关系： 11111221221122221122....................p p p p p p p pp p Y X X X Y X X X Y X X X γγγγγγγγγ=+++?? =+++??? ?=+++? 式中，ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从X 到Y 得转换关系是可逆的，很容易得出由Y 到 X 得转换关系为： 11112121212122221122....................p p p p p p p pp p X Y Y Y X Y Y Y X Y Y Y γγγγγγγγγ=+++?? =+++??? ?=+++? 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替，则上式变为： 111121211 2121222221122................. ...m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++??=++++????=++++? 上式在形式上已经与因子模型相一致，且i Y （i=1,2，…，m ）之间相互独立，且i Y 与i ε之间相互独立，为了把i Y 转化成合适的公因子，现在要做的工作只是把主成分i Y 变为方差为1的变量。为完成此变换，必须将i Y 除以其标准差，由主成分分析的知识知其标准差即为特征根的平方根 i λ/i i i F Y λ=， 1122m m λγλγλγ，则式子变为： 一、概述 在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。 为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。 主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点： ↓主成分个数远远少于原有变量的个数 原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。 ↓主成分能够反映原有变量的绝大部分信息 因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。 ↓主成分之间应该互不相关 通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。 ↓主成分具有命名解释性 总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。 二、基本原理 主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标X1，X2，…，XP （比如p 个指标），重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。 设F1表示原变量的第一个线性组合所形成的主成分指标，即 11112121...p p F a X a X a X =+++,由数学知识可知，每一个主成分所提取的信息量可 用其方差来度量，其方差Var(F1)越大，表示F1包含的信息越多。常常希望第一主成分F1所含的信息量最大，因此在所有的线性组合中选取的F1应该是X1，X2，…，XP 的所有线性组合中方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p 个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在F2中，即F2与F1要保持独立、不相关，用数学语言表达就是其协方差Cov(F1, F2)=0，所以F2是与F1不 （一）主成分分析法的基本思想 主成分分析（Principal Component Analysis ）是利用降维的思想，将多个变量转化为少数几个综合变量（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间互不相关，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠。[2] 采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点，引进多方面的财务指标，但又将复杂因素归结为几个主成分，使得复杂问题得以简化，同时得到更为科学、准确的财务信息。 （二）主成分分析法代数模型 假设用p 个变量来描述研究对象，分别用X 1，X 2…X p 来表示，这p 个变量构成的p 维随机向量为X=(X 1，X 2…X p )t 。设随机向量X 的均值为μ，协方差矩阵为Σ。对X 进行线性变化，考虑原始变量的线性组合： Z 1=μ11X 1+μ12X 2+…μ1p X p Z 2=μ21X 1+μ22X 2+…μ2p X p …… …… …… Z p =μp1X 1+μp2X 2+…μpp X p 主成分是不相关的线性组合Z 1，Z 2……Z p ，并且Z 1是X 1，X 2…X p 的线性组合中方差最大者，Z 2是与Z 1不相关的线性组合中方差最大者，…，Z p 是与Z 1，Z 2 ……Z p-1都不相关的线性组合中方差最大者。 （三）主成分分析法基本步骤 第一步：设估计样本数为n ，选取的财务指标数为p ，则由估计样本的原始数据可得矩阵X=(x ij )m ×p ，其中x ij 表示第i 家上市公司的第j 项财务指标数据。 第二步：为了消除各项财务指标之间在量纲化和数量级上的差别，对指标数据进行标准化，得到标准化矩阵（系统自动生成）。 第三步：根据标准化数据矩阵建立协方差矩阵R ，是反映标准化后的数据之间相关关系密切程度的统计指标，值越大，说明有必要对数据进行主成分分析。其中，R ij （i ，j=1，2，…，p ）为原始变量X i 与X j 的相关系数。R 为实对称矩阵 （即R ij =R ji ），只需计算其上三角元素或下三角元素即可，其计算公式为： 2211)()() ()(j kj n k i kj j kj n k i kj ij X X X X X X X X R -=--=-=∑∑ 第四步：根据协方差矩阵R 求出特征值、主成分贡献率和累计方差贡献率，确定主成分个数。解特征方程0=-R E λ，求出特征值λi （i=1，2，…，p ）。 因为R 是正定矩阵，所以其特征值λi 都为正数，将其按大小顺序排列，即λ1≥λ2≥…≥λi ≥0。特征值是各主成分的方差，它的大小反映了各个主成分的影响力。主成分Z i 的贡献率W i =∑=p j j j 1λλ，累计贡献率为 评价方法综述 综合评价是指对以多属性体系结构描述的对象系统作出全局性、整体性的评价，即对评价对象的全体根据所给的条件，采用一定的方法给每个评价对象赋予一个评价值，再据此择优或排序。 常用的综合综合评价方法可以分为以下几大类： （1）定性评价方法，包括专家会议法、德尔菲法(Delphi法)。这类方法具有操作简单，可以利用专家的知识，结论易于使用的优点，但是主观比较强，多人评价是结论难收敛，适合于不能或难以量化的大系统，简单的小系统。 （2）技术经济分析方法，包括经济分析法和技术评价法，分别通过价值分析、成本效益分析、价值功能分析，采用NPV(Net Present value)、IRR(Internal Rate of Retum)等指标和通过可行性分析、可靠性评价等。该方法含义明确，可比性强，但是建立模型比较困难，只适用评价因素少的对象。 （3）多属性决策方法(Multi Attribute Decesion-makingMethod，简称DADM)，这类方法通过化多为少、分层序列、直接求非劣解、重排次序法莱排序与评价，具有描述精确，可以处理多决策者、多指标、动态的对象的优点，但由于隶属刚性的评价，无法涉及模糊因素的对象。 （4）系统工程法，包括评分法、关联矩阵法和层次分析法(Analytic Hierarchy Proeess，简称AHP)，前两者具有方法简单、容易操作的优点，但只能用于静态评价；AHP法的可靠度比较高，误差小，但评价对象的因素不能太多(通常不多于9个)。 （5）模糊数学方法，包括模糊综合评价、模糊积分、模糊模式识别等，能克服传统数学方法中的“唯一解”的弊端，根据不同可能性得出多个层次的问题解，但不能解决评价指标间相关造成的信息重复问题，隶属函数、模糊相关矩阵等的确定方法有待进一步研究。 （6）物元分析方法与可拓评价，可以解决评价对象的指标存在不相容性和可变性的问题。 （7）统计分析方法，包括主成分分析、因子分析、聚类分析和判别分析等，具有全面性、可比性、客观合理的优点，但都需要大量的统计数据，没有反映客观发展水平。 主成分分析 在统计学中，主成分分析（principal components analysis, PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。 在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具 主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 主成分分析的主要作用体现在五个方面，第一，主成分分析能降低所研究的数据空间的维数。第二，可通过因子负荷的结论，弄清X变量间的某些关系。第三，可用于多为数据的一种图形表现方法。第四，可由主成分分析构造回归模型，即把各个主成分作为新自变量代替原来自变量做回归分析。第五，用主成分分析筛选回归变量。 主成分分析法 主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法 [编辑] 什么是主成分分析法 主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。 [编辑] 主成分分析的基本思想 在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。这些涉及的因素一般称为指标，在多元统计分析中也称为变量。因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。主成分分析正是适应这一要求产生的，是解决这类题的理想工具。 同样，在科普效果评估的过程中也存在着这样的问题。科普效果是很难具体量化的。在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。如上所述，主成分分析法正是解决这一问题的理想工具。因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。这样，综合指标不仅保留了原始变量的主要信息，且彼此间不相关，又比原始变量具有某些更优越的性质，就使我们在研究复杂的科普效果评估问题时，容易抓住主要矛盾。上述想法可进一步概述为：设某科普效果评估要素涉及个指标，这指标构成的维随机向量为。对作正交变换，令，其中为正交阵，的各分量是不相关的，使得的各分量在某个评估要素中的作用容易解释，这就使得我们有可能从主分量中选择主要成分，削除对这一要素影响微弱的部分，通过对主分量的重点分析，达到对原始变量进行分析的目的。的各分量是原始变量线性组合，不同的分量表示原始变量之间不同的影响关系。由于这些基本关系很可能与特定的作用过程相联系，主成分分析使我们能从错综复杂的科普评估要素的众多指标中，找出一些主要成分，以便有效地利用大量统计数据，进行科普效果评估分析，使我们在研究科普效果评估问题中，可能得到深层次的一些启发，把科普效果评估研究引向深入。 例如，在对科普产品开发和利用这一要素的评估中，涉及科普创作人数百万人、科普作品发行量百万人、科普产业化（科普示范基地数百万人）等多项指标。经过主成分分析计算，最后确定个或个主成分作为综合评价科普产品利用和开发的综合指标，变量数减少，并达到一定的可信度，就容易进行科普效果的评估。 [编辑] 主成分分析法的基本原理 主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。 [编辑] 主成分分析的主要作用 因子分析是主成分分析的推广和发展，它也是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系，同时根据不同因子还可以对变量进行分类，它也是属于多元分析中处理降维的一种统计方法。 因子分析的内容十分丰富，这里仅介绍因子分析常用一种类型：R型因子分析（对变量做因子分析）。 基本思想：因子分析的基本思想是通过变量（或样品）的相关系数矩阵（对样品是相似系数矩阵）内部结构的研究，找出能控制所有变量（或样品）的少数几个随机变量去描述多个变量（或样品）之间的相关（相似）关系，但在这里，这少数几个随机变量是不可观测的，通常称为因子。然后根据相关性（或相似性）的大小把变量（或样品）分组，使得同组内的变量（或样品）之间相关性（或相似性）较高，但不同组的变量相关性（或相似性）较低。 R 型因子分析数学模型： 用矩阵表示：= 简记为 且满足： 即和是不相关的； Digg 排行 主成 分分 析 动态 分析 法 判别 分析 聚类 分析 因子 分析 密切 值法 综述 综合 评价 分析 相关 分析 法 因素 分析 法 平衡 分析 法 热门 即不相关且方差皆为1。 即 不相关，且方差不同。 其中 是可实测的个指标所构成 维随机向量， 是不可观测的向量，称为的公共因子或潜因子。称为 因子载荷是第个变量在第个公共因子上的负荷。矩阵称为因子载荷矩阵； 称为的特殊因子，通常理论上要求的斜方差阵是对角阵，中包括了随 机误差。 因子分析和主成分分析的区别:主成分分析的数学模型实质上是一种变换， 而因子分析模型是描述原指标斜方差阵结构的一种模型。另外，在主成分分 析中每个主成分相应的系数是唯一确定的。与此相反，在因子分析中每个因 子的相应系数不是唯一的，即因子载荷不是唯一的。 因子模型中公共因子，因子载荷和变量共同度的统计意义： 假定因子模型中，各个变量以及公共因子、特殊因子都已经是标准化（均 值为0，方差为1）的变量。 （1）因子载荷的统计意义：因子载荷的统计意义就是第个变量与第 个公共因子的相关系数即表示依附于的分量（比重）。它反映第个变量 评论 在对某一事物或现象进行实证研究时,为了充分反映被研究对象个体之间的差异, 研究者往往要考虑增加测量指标,这样就会增加研究问题的负载程度。但由于各指标都是对同一问题的反映,会造成信息的重叠,引起变量之间的共线性,因此,在多指标的数据分析中,如何压缩指标个数、压缩后的指标能否充分反映个体之间的差异,成为研究者关心的问题。而主成分分析法可以很好地解决这一问题。 主成分分析的应用目的可以简单地归结为: 数据的压缩、数据的解释。它常被用来寻找和判断某种事物或现象的综合指标,并且对综合指标所包含的信息给予适当的解释, 从而更加深刻地揭示事物的内在规律。 主成分分析的基本步骤分为: ①对原始指标进行标准化,以消除变量在数量极或量纲上的影响;②根据标准化后的数据矩阵求出相关系数矩阵 R; ③求出 R 矩阵的特征根和特征向量; ④确定主成分,结合专业知识对各主成分所蕴含的信息给予适当的解释;⑤合成主成分,得到综合评价值。 结合数据进行分析 本题分析的是全国各个省市高校绩效评价，利用全国2014年的相关统计数据(见附录)，从相关的指标数据我们无法直接评价我国各省市的高等教育绩效，而通过表5-6的相关系数矩阵，可以看到许多的变量之间的相关性很高。如：招生人数与教职工人数之间具有较强的相关性，教育投入经费和招生人数也具有较强的相关性，教工人数与本科院校数之间的相关系数最高，到达了，而各组成成分之间的相关性都很高，这也充分说明了主成分分析的必要性。 表5-6 相关系数矩阵 本科院校 数招生人数教育经费投入 相关性师生比 重点高校数 教工人数 本科院校数 招生人数 教育经费投 入 师生比重点高校数教工人数 相关性师生比 重点高校数 教工人数 本科院校数 招生人数 教育经费投 入（元） 表5-7给出的是各主成分的方差贡献率和累计贡献率，我们选取主成分的标准有两个：第一，特征根大于1，因为，如果特征根小于1，说明该主成分的解释力度太弱，还比不上直接引入一个原始变量的平均解释力度大；第二，方差贡献率大于85%，如果这两个标准不能同时符合要求,则往往是因为选择的指标不合理或者样本容量太小,应继续调整。表5-7还显示，只有前2个特征根大于1，因此SPSS只提取了前两个主成分，而这两个主成分的方差贡献率达到了%，因此选取前两个主成分已经能够很好地描述我国高等教育地区现状。主成分分析原理及详解
SPSS进行主成分分析的步骤(图文)精编版
主成分分析法精华讲义及实例
主成分分析-实例
主成分分析PCA(含有详细推导过程以及案例分析matlab版)
主成分分析计算方法和步骤
多组分分析方法综述
SPSS软件进行主成分分析的应用例子
主成分分析法及其在SPSS中的操作
SFA方法综述
主成分分析法matlab实现,实例演示
主成分分析法实例
主成分分析法的原理应用及计算步骤..
主成分分析法的步骤和原理 (1)
(完整版)评价方法综述
浅析主成分分析法及案例分析
主成分分析法概念及例题
因子分析是主成分分析的推广和发展
主成分分析计算方法和步骤
相关主题
文本预览