主成分分析法教案知识讲解

主成分分析类型：一种处理高维数据的方法。

降维思想：在实际问题的研究中，往往会涉及众多有关的变量。

但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。

一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。

因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。

一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。

记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。

设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。

1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 1.3 总体主成分的性质1.3.1 主成分的协方差矩阵及总方差记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=由此得主成分的总方差为111()()()()(),p ppTTiii i i i Var Y tr P P tr PP tr Var X λ=====∑=∑=∑=∑∑∑即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差1()pii Var X =∑分解成 p 个互不相关变量 Y 1，Y 2，…，Y p 的方差之和，即1()pii Var Y =∑而 ()k k Var Y λ=。

主成分分析法一、主成分分析（principal components analysis ）也称为主分量分析，是由Holtelling 于1933年首先提出的。

主成分分析是利用降维的思想，把多指标转化为少数几个综合指标的多元统计分析方法。

二、应用背景：对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp ，它们都是相关的, 一时难以综合。

这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。

我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。

任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。

如果有一项指标，不同个体的取值都大同小异，那么该指标不能用来区分不同的个体。

由这一点来看，一项指标在个体间的变异越大越好。

因此我们把“变异大”作为“好”的标准来寻求综合指标。

例1、考察对象股票业绩（这里单个股票为观察个体）。

（1）确定影响股票业绩主要因素：主营业务收入（X1），主营业务利润（X2）利润总额（X3），净利润（X4），总资产（X5），净资产（X6），净资产收益率（X7），每股权益（X8），每股收益（X9），每股公积金（X10），速动比率（X11）作为变量。

因此对单个股票来说，用11个随机变量综合刻化。

但这些因素过多，各因素区别不明显，有交叉反映。

通过主成分分析，可降为少数几个综合指标加以刻化。

（2）考察20支不同的股票。

从数学角度看，每种影响因素是随机变量（X i ），观察一支股票便得到影响该股票的11个随机变量取值；观察20支股票，便得到了20×11的原始数据阵X20×11（略）。

三、问题：作为主成分？严格的数学定义？相应的性质有哪些？主成分取多少？1、主成分的一般定义设有随机变量X1，X2，…，Xp ， 其样本均数记为1X ，2X ，…，p X，样本标准差记为S1，S2，…，Sp 。

19.主成分分析法一、方法介绍 基本思路：主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。

这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。

主成分分析的基本思想就是，设法将原来众多具有一定相关性的指标（比如P 个指标），重新组合成一组新的相互无关的综合指标来代替原来指标。

最经典的方法就是用F 1的方差来表达，即 V ar (F 1)越大，表示F 1包含的信息越多。

理论模型：设有n 个样品，每个样品观测p 项指标（变量）：X 1，X 2，．．．，Ｘp ，得到原始数据资料阵：()111121,,....p P n np x x X X X X x x ⎛⎫⎪== ⎪ ⎪⎝⎭（1）其中，123.....i ii i x x X x ⎛⎫ ⎪⎪= ⎪ ⎪⎝⎭i=1，．．．，p用数据矩阵X 的p 个向量(即p 个指标向量)X 1，．．．，Xp 作线形组合（即综合指标向量）为：11112121212122221122p P p P P P P pP P F a X a X a X F a X a X a X F a X a X a X =+++⎧⎫⎪⎪=+++⎪⎪⎨⎬⎪⎪⎪⎪=+++⎩⎭（2）简写成1122i i i pi P F a X a X a X =+++ i=1，．．．，p （3）（注意：Xi 是n 维向量，所以Fi 也是n 维向量。

） 上述方程要求：121i i pi a a a ++= i=1,．．．，p （4）且系数a ij 由下列原则决定：（1）F i 与F j （i ≠j ，i ，j=1，…，p ）不相关；（2）F 1是X 1，．．．，Ｘp 的一切线性组合（系数满足上述方程组）中方差最大的，F 2是与F 1不相关的X 1，．．．，Ｘp 的一切线性组合中方差最大的，…，F p 是与其他都不相关的X 1，．．．，Ｘp 的一切线性组合中方差最大的。

可编辑修改精选全文完整版第六章 主成分分析法主成分分析法是将高维空间变量指标转化为低维空间变量指标的一种统计方法。

由于评价对象往往具有多个属性指标，较多的变量对分析问题会带来一定的难度和复杂性。

然而，这些指标变量彼此之间常常又存在一定程度的相关性，这就使含在观测数据中的信息具有一定的重叠性。

正是这种指标间的相互影响和重叠，才使得变量的降维成为可能。

即在研究对象的多个变量指标中，用少数几个综合变量代替原高维变量以达到分析评价问题的目的。

当然，这少数指标应该综合原研究对象尽可能多的信息以减少信息的失真和损失，而且指标之间彼此相互独立。

第一节 引言主成分分析，也称主分量分析，由皮尔逊（Pearson ）于1901年提出，后由霍特林（Hotelling ）于1933年发展了，这也正是现在多元统计分析中的一种经典统计学观点。

经典统计学家认为主成分分析是确定一个多元正态分布等密度椭球面的主轴，这些主轴由样本来估计。

然而，现代越来越多的人从数据分析的角度出发，用一种不同的观点来考察主成分分析。

这时，不需要任何关于概率分布和基本统计模型的假定。

这种观点实际上是采用某种信息的概念，以某种代数或几何准则最优化技术对一个数据阵的结构进行描述和简化。

主成分分析方法的主要目的就是通过降维技术把多个变量化为少数几个主要成分进行分析的统计方法。

这些主要成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。

为了使这些主要成分所含的信息互不重迭，应要求它们互不相关。

当分析结束后，最后要对主成分做出解释。

当主成分用于回归或聚类时，就不需要对主成分做出解释。

另外，主成分还有简化变量系统的统计数字特征的作用。

对于任意p 个变量，描述它们自身及其相互关系的数字特征包括均值、方差、协方差等，共有)1(21-+p p p 个参数。

经过主成分分析后，每个新变量的均值和协方差都为零，所以，变量系统的数字特征减少了)1(21-+p p p 个。