第一讲 主成分分析在数学建模中的应用1.学习目的1、理解主成分分析的基本思想;2、会用SAS 软件编写相关程序,对相关数据进行主成分分析;3、会用SAS 软件编程结合主成分分析方法解决实际问题。
2.学习要求1、理解主成分分析的基本原理,掌握主成分分析的基本步骤;2、会用SAS 软件编写相关程序,对相关数据进行分析处理与假设检验;3、撰写不少于3000字的小论文;4、 精读一篇优秀论文。
3. 理论基础 3. 1基本思想在实际问题的研究中,往往会涉及众多的变量。
但就是,变量太多不但会增加计算的复杂性,而且也给合理地分析问题与解释问题带来困难。
一般来说,虽然每个变量提供了一定的信息,但其重要性有所不同,而在很多情况下,变量间有一定的相关性,从而使得这些变量所提供的信息在一定程度上有所重叠。
因而人们希望对这些变量加以“改造”,用为数较少的互不相关的新变量来反映原来变量所提供的绝大部分信息,通过对新变量的分析达到解决问题的目的。
主成分分析就就是在这种降维的思想下产生的处理高维数据的方法。
3、2 基本原理(1)、总体的主成分定义1、设'12(,,)X X X =p …,X 为P 维随机向量,称'i i Z a X =为X 的第i 主成分(i=1,2,…P),如果:(1) '1(1,2,);i i a a i ==…,p(2) 当i>1时,'0(1,2,);i ja aj ==∑…i-1(3) '''1,0(1,)()max ()j i a a a a j Var Z Var a X ====∑…i-1定理1、设'12(,,)X X X =p …,X 就是P 维随机向量,且()D X =∑,∑的特征值为120p λλλ≥≥≥≥…,12,,p a a a …,为相应的单位正交特征向量,则X 的第i 主成分为'i i Z a X = (1,2,).i =…,p定义2、我们称1/pk ii λλ=∑为主成分k Z 的贡献率;又称11/pm k ik i λλ==∑∑为主成分1,,()m Z Z m p <…的累计贡献率。
记()ij σ∑=,12(,)p diag λλλΛ=…,其中12p λλλ≥≥≥…为∑的特征值,12,,p a a a …,就是相应的单位正交特征向量,记正交矩阵12(,,).p A a a a =…,主成分'1(,)p Z Z Z =…,其中'(1,2,).i i Z a i ==…,p 则总体主成分有如下的性质:性质1、 ()D Z =Λ,即P 个主成分的方差为:()(1,2,)i i Var Z i λ==…,p ,且它们就是互不相关的。
性质2、11pp iii i i σλ===∑∑,通常称1pii i σ=∑为原总体X 的总方差(或称总惯量)。
性质3、主成分k Z 与原始变量i X 的相关系数(,)k i Z X ρ为(,)k i ik Z X ρ= (,1,2,)k i =…p并把主成分k Z 与原始变量i X 的相关系数称为因子负荷量。
性质4、 2211(,)1(1,2,)ppk ikk i k k iia Z X i λρσ=====∑∑…,p 。
性质5、 21(,)(1,2,).piik i k i Z X k σρλ===∑…,p 若记2()()i i i i E X Var X μσ==，,即令*i ii iX X μσ-==(1,2,)i =…,p这时标准化后的随机向量***'12(,,)X X X =*p …X 的协方差阵*∑就就是原随机向量X 的相关阵R 。
从相关阵R 出发求主成分,记主成分向量为***'1(,,)p Z Z Z =…,则*Z 有与总体主成分相应的性质:性质1、 *****12()(,,,)p D Z diag λλλ=Λ=…,其中***12p λλλ≥≥…为相关矩阵R 的特征值。
性质2、*1pii p λ==∑、性质3、主成分*k Z 与标准化变量*i X 的相关系数**(,)k k Z X ρ为***(,)k k ik Z X ρ= (,1,2,)k i =…p ,其中***'1(,)k k pk a a a =…,就是R 对应于*k λ的单位正交特征向量。
性质4、2****211(,)()1ppkkk ik k k Z X a ρλ====∑∑ (1,2,)i =…,p 性质5、2****2*11(,)()ppkkk ik k k k Z X a ρλλ====∑∑ (1,2,)k =…,p 。
2、样本的主成分定义1、设变量12,,X X p …,X 的n 次观测数据阵X 已标准化,这时样本的协方差阵就就是样本相关阵R,且'1()1ij p p R X X r n ⨯==- R 的特征值为120p λλλ≥≥≥≥…,其相应标准化特征向量为12,,p a a a …,,样本主成分为'j j Z a X = (1,2,)j =…,p类似总体主成分,样本主成分也具有如下的性质:性质1、 '()111(,)0nt t Z Z z n ====∑p …,z (因为X ＝0),而 '0,,(1)i j i i j Z Z n i λ≠⎧=⎨-⎩L L L L 当当=j.上式说明当i j ≠时,第i 个主成分得分向量i Z 与第j 个主成分得分向量j Z 就是相互正交的。
性质2、1pi i p λ==∑。
称k p λ为样本主成分k Z 的贡献率;又称1mλλ+…+p为样本主成分1,,()m Z Z m p <…的累计贡献率。
性质3、样本主成分具有就是残差平方与最小的优良性。
3、3 基本步骤⑴ 数据标准化)2,1;,,2,1(,p j n i S x x x jjj ij ij ΛΛ&==-=其中,S 为第j 列的方差;⑵ 计算协方差矩阵R ;⑶ 计算协方差矩阵的特征值与特征向量;利用特征方程0=-R I λ求出按大小排列特征值j λ以及相应的特征向量j e ;⑷ 选择前几个特征向量,确定主成分;3、4 基本命令使用proc princomp 过程进行主成分分析,其主要语句格式如下:Proc princomp <选项列表>; Var 变量列表; Run;其中:(1)Proc princomp 语句用来规定输入、输出与一些运行选项,其选项及功能如下:①data=数据集名1:指明所要分析的数据集,若省略则表示分析最新生成的数据集。
②out=数据集名2:命名一个输出SAS 数据集,其中包含原始数据以及各主成分得分(即各主成分的观测值)。
③outstat=数据集名3:命名一个包含各变量的均值、标准差、相关矩阵或协方差矩阵、特征值与特征向量的SAS 数据集。
④covariance(cov):要求从协方差矩阵出发作主成分分析,若省略此选项,则从相关矩阵出发进行分析;除非各变量的度量单位就是可比较的或已经过某种方式的标准化,否则不宜使用此选项,应从相关矩阵出发作主成分分析。
⑤N=n:指定要计算的主成分的个数,其默认值为参与分析的变量的个数。
⑥prefix=name:规定各主成分名称的前缀。
省略此句则SAS 系统自动赋予各主成分名称分别为prin1,prin2,……;若“name=A ”,则各主成分名称分别为A1,A2,……,前缀的字符个数加上后面数字位数应不超过8个字符。
(2)V AR variables;此句中的“variables ”部分列出数据集中参与主成分分析的变量名称。
若省略此句,则被分析数据集中所有数值变量均参与分析。
4.举例【例1】 (中学生身体四项指标的主成分分析) 在某中学随机抽取某年级30名学生,测量其身高(X1)、体重(X2)、胸围(X3)与坐高(X4),(数据见教材P277的表7、4)。
试对这30名学生体四项指标数据做主成分分析。
data d721;input number x1-x4 @@ ;cards;1 148 41 72 78 2 139 34 71 763 160 49 77 864 149 36 67 795 159 45 80 86 6 142 31 66 767 153 43 76 83 8 150 43 77 799 151 42 77 80 10 139 31 68 7411 140 29 64 74 12 161 47 78 8413 158 49 78 83 14 140 33 67 7715 137 31 66 73 16 152 35 73 7917 149 47 82 79 18 145 35 70 7719 160 47 74 87 20 156 44 78 8521 151 42 73 82 22 147 38 73 7823 157 39 68 80 24 147 30 65 7525 157 48 80 88 26 151 36 74 8027 144 36 68 76 28 141 30 67 7629 139 32 68 73 30 148 38 70 78;proc princomp data=d721 prefix=z out=o721 ;var x1-x4;run;options ps=32 ls=85;proc plot data=o721;plot z2*z1 $ number='*'/href=-1href=2vref=0;run;proc sort data=o721;by z1;run;proc print data=o721;var number z1 z2 x1-x4;run;quit;由PRINCOMP过程由相关阵出发进行主成分分析。
由下面的相关阵来瞧, 指标之间存在着严重的共线关系,就要用主成分的方法进行降维(也就就是说用较少的指标就能很好衡量学生的身体基本情况。
从相关阵的特征直来瞧,第一主成分的贡献率已高达88、53%,且前两个主成分的累计贡献率已高达96、36%,因此只需用两个主成分就能很好地概括这组数据。
另由第四个特征值近似为0,可以瞧出这4个标准化后的身体指标变量有近似的共线性。
由最大的两个特征值对应的特征向量可以写出第一与第二主成分:****11234****212340.4969660.5145710.4809010.5069280.5432130.2102460.7246210.368294Z X X X XZ X X X X=+++=-++-利用特征向量的值对各个主成分进行分析。
第一主成分特征值对应的第一个特征向量的各个分量均在0、5附近,而且都就是正值,它反映学生的魁梧程度。
