主成分分析法的步骤和原理讲课讲稿

6
3.832E-16
2.017E-15 100.000
7
3.351E-16
1.764E-15 100.000
8
2.595E-16
1.366E-15 100.000
000
10
1.683E-16
8.860E-16 100.000
11
7.026E-17
3.698E-16 100.000
• 因子分析是要利用少数几个公共因子去解释较多个要观测 变量中存在的复杂关系,它不是对原始变量的重新组合,而 是对原始变量进行分解,分解为公共因子与特殊因子两部分. 公共因子是由所有变量共同具有的少数几个因子；特殊因 子是每个原始变量独自具有的因子.
3、应用中的优缺点比较
• 主成分分析 优点：首先它利用降维技术用少数几个综合变量来代替 原始多个变量,这些综合变量集中了原始变量的大部分信 息.其次它通过计算综合主成分函数得分,对客观经济现象 进行科学评价.再次它在应用上侧重于信息贡献影响力综 合评价. 缺点：当主成分的因子负荷的符号有正有负时,综合评价 函数意义就不明确.命名清晰性低.
12
2.750E-19
1.447E-18 100.000
13
-7.503E-17 -3.949E-16 100.000
14
-1.291E-16 -6.794E-16 100.000
15
-1.742E-16 -9.168E-16 100.000
16
-2.417E-16 -1.272E-15 100.000
四、主成分分析法的步骤
1数据归一化处理：数据标准化Z 2计算相关系数矩阵R： 3计算特征值；
特征值越大说明重要程度越大.
4计算主成分贡献率及方差的累计贡献率； 5计算主成分载荷与特征向量：

主成分分析类型：一种处理高维数据的方法。

降维思想：在实际问题的研究中，往往会涉及众多有关的变量。

但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。

一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。

因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。

一、总体主成分1.1 定义设 X 1，X 2，…，X p 为某实际问题所涉及的 p 个随机变量。

记 X=(X 1，X 2，…,Xp)T ，其协方差矩阵为()[(())(())],T ij p p E X E X X E X σ⨯∑==--它是一个 p 阶非负定矩阵。

设1111112212221122221122Tp p Tp pT pp p p pp p Y l X l X l X l X Y l X l X l X l X Y l X l X l X l X⎧==+++⎪==+++⎪⎨⎪⎪==+++⎩（1） 则有()(),1,2,...,,(,)(,),1,2,...,.T T i i i i TT T i j ijij Var Y Var l X l l i p Cov Y Y Cov l X l X l l j p ==∑===∑= （2）第 i 个主成分： 一般地，在约束条件1T i i l l =及(,)0,1,2,..., 1.T i k i k Cov Y Y l l k i =∑==-下，求 l i 使 Var(Y i )达到最大，由此 l i 所确定的T i i Y l X =称为 X 1，X 2，…，X p 的第 i 个主成分。

1.2 总体主成分的计算设 ∑是12(,,...,)T p X X X X =的协方差矩阵，∑的特征值及相应的正交单位化特征向量分别为120p λλλ≥≥≥≥及12,,...,,p e e e则 X 的第 i 个主成分为1122,1,2,...,,T i i i i ip p Y e X e X e X e X i p ==+++= （3）此时(),1,2,...,,(,)0,.Ti i i i Ti k i k Var Y e e i p Cov Y Y e e i k λ⎧=∑==⎪⎨=∑=≠⎪⎩ 1.3 总体主成分的性质1.3.1 主成分的协方差矩阵及总方差记 12(,,...,)T p Y Y Y Y = 为主成分向量，则 Y=P T X ，其中12(,,...,)p P e e e =，且12()()(,,...,),T T p Cov Y Cov P X P P Diag λλλ==∑=Λ=由此得主成分的总方差为111()()()()(),p ppTTiii i i i Var Y tr P P tr PP tr Var X λ=====∑=∑=∑=∑∑∑即主成分分析是把 p 个原始变量 X 1，X 2，…，X p 的总方差1()pii Var X =∑分解成 p 个互不相关变量 Y 1，Y 2，…，Y p 的方差之和，即1()pii Var Y =∑而 ()k k Var Y λ=。

第二节 主成分分析的步骤
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
巴特利特球度检验的检验统计量根据相关系数矩阵的行列 式计算得到，且近似服从卡方分布。如果该统计量的所对应的 概率小于给定的显著水平，则应拒绝零假设，认为相关系数矩 阵不太可能是单位矩阵，原有变量适合作因子分析；反之，如 果该统计量所对应的概率大于给定的显著水平，则应接受零假 设，认为相关系数矩阵可能是单位矩阵，原有变量不适合作因 子分析。
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主因子分析
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
主成分分析
2006/05/1
硕士研究生课程 非线性模型
f2
f2'
f1'
f1
主成分分析
2006/05/1
主成分分析的计算步骤
1. 计算步骤 (R分析) ① 列出观测资料矩阵X， ② 计算样本相关矩阵R， ③ 计算R的特征值和特征向量--求正交变换， ④ 计算贡献率及累计贡献率，确定主分量个数，建立主分量
方程， ⑤ 解释各主分量的意义， ⑥ 计算各样本的主分量坐标y， ⑦ 计算负荷量表。
主成分分析

主成分分析的原理与方法主成分分析（Principal Component Analysis, PCA）是一种常用的降维技术，用于数据的降维和特征提取。

它通过线性变换将原始数据映射到新的特征空间，使映射后的数据在新的特征空间中具有最大的方差。

一、主成分分析的原理主成分分析的核心思想是将高维数据映射到低维空间，同时保留最重要的信息。

具体而言，将原始数据映射到新的特征空间后，希望得到的新特征具有以下特性：1. 最大化方差：在新的特征空间中，希望找到使数据方差最大化的方向。

这样做的目的是将数据的主要变化方向保留下来，有利于更好地区分不同的样本。

2. 无相关性：希望得到的新特征之间是相互独立的，即它们之间没有任何相关性。

这样可以减少数据中的冗余信息，提取出更具代表性的特征。

二、主成分分析的方法主成分分析通常分为以下几个步骤：1. 标准化数据：由于主成分分析是基于数据的协方差矩阵进行计算的，所以首先需要将数据进行标准化处理，使各个维度的数据具有相同的尺度。

2. 计算协方差矩阵：通过计算标准化后的数据的协方差矩阵，可以得到各个维度之间的相关性。

3. 计算特征值和特征向量：对协方差矩阵进行特征值分解，可以得到特征值和对应的特征向量，其中特征值表示对应特征向量方向上的方差。

4. 选择主成分：根据特征值的大小，选择方差解释最大的前k个特征向量作为主成分。

5. 数据映射：将原始数据映射到选择的主成分上，得到降维后的数据。

三、主成分分析的应用主成分分析在数据分析和特征工程中有广泛的应用，可以用于数据降维、数据可视化和去除数据冗余等方面。

1. 数据降维：主成分分析可以将高维数据映射到低维空间，减少数据的维度，降低计算复杂度，并且保留了大部分的数据信息。

2. 数据可视化：通过将数据映射到二维或三维空间，可以将高维数据可视化，更好地观察数据的分布和结构。

3. 特征提取：主成分分析可以提取出数据中最具代表性的特征，对于后续的模型建立和训练有重要的意义。