主成分分析法的原理应用及计算步骤

格式：docx
大小：584.68 KB
文档页数：15

WORD格式

专业资料整理

一、概述

在处理信息时，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基

础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。

为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。

主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综合指标，通常综合指标（主成分）有以下几个特点：

主成分个数远远少于原有变量的个数

原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建模，这将大大减少分析过程中的计算工作量。

主成分能够反映原有变量的绝大部分信息

因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。

主成分之间应该互不相关

通过主成分分析得出的新的综合指标（主成分）之间互不相关，因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。

主成分具有命名解释性

总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成

少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。

二、基本原理

主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标 X1， X2，, ， XP（比如 p 个指标），重新组合成一组较少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量 Xp 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。

设 F1 表示原变量的第一个线性组合所形成的主成分指标，即

F1 a11 X 1 a21 X 2 ... a p1 X p , 由数学知识可知，每一个主成分所提取的信息量可

用其方差来度量，其方差 Var(F1) 越大，表示 F1 包含的信息越多。常常希望第一主成分 F1

所含的信息量最大，因此在所有的线性组合中选取的 F1 应该是 X1，X2，, ， XP的所有线性组合中方差最大的，故称 F1 为第一主成分。如果第一主成分不足以代表原来 p 个指标的信息，再考虑选取第二个主成分指标 F2，为有

效地反映原信息， F1 已有的信息就不需要再出现在 F2 中，即 F2 与 F1 要保持独

立、不相关，用数学语言表达就是其协方差 Cov(F1, F2)=0，所以 F2 是与 F1 不 WORD格式

专业资料整理

相关的 X1，X2，, ， XP的所有线性组合中方差最大的，故称 F2 为第二主成分，依此类推构造出的 F1、F2、,, 、 Fm为原变量指标 X1、X2,, XP第一、第二、,, 、第 m个主成分。

F1 a1 1 X

1 a1 2 X

2 ... a1 p X p

F 2 a2 1 X

1 a2 2 X

2 ... a 2 p X p

......

F m am 1 X

1 a m 2

X 2 ... a m p X p

根据以上分析得知：

(1) Fi 与 Fj 互不相关，即 Cov(Fi ，Fj) = 0, 并有 Var(Fi)=ai ’Σ ai ，其

中Σ为 X 的协方差阵

(2)F1 是 X1，X2，, ， Xp 的一切线性组合（系数满足上述要求）中方差最

大的, ,, , 即 Fm是与 F1，F2，,, ， Fm－ 1 都不相关的 X1，X2，, ， XP的所有

线性组合中方差最大者。

F1，F2，,， Fm（m≤ p）为构造的新变量指标，即原变量指标的第一、第二、,, 、第

m个主成分。

由以上分析可见，主成分分析法的主要任务有两点：

（ 1）确定各主成分 Fi （i=1 ，2，, ， m）关于原变量 Xj （j=1 ，2 ，, ， p ）的表达式，即系数 a ij （ i=1 ， 2， , ， m； j=1 ，2 ， , ， p）。从数学上可以证

明，原变量协方差矩阵的特征根是主成分的方差，所以前 m 个较大特征根就代

表前 m 个较大的主成分方差值；原变量协方差矩阵前 m 个较大的特征值 i （这

样选取才能保证主成分的方差依次最大）所对应的特征向量就是相应主成分 Fi

表达式的系数 ai ，为了加以限制，系数 ai 启用的是 i 对应的单位化的特征向量，

即有 a i ' ai =

1 。

（ 2）计算主成分载荷，主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互

关联程度： P ( Z k ,x i )k a ki ( i ,1, 2, , p; k 1, 2, , m )

三、主成分分析法的计算步骤

主成分分析的具体步骤如下：

（ 1）计算协方差矩阵

计算样品数据的协方差矩阵： Σ=(s ij )p p，其中

1 n

i ， j=1 ，2， , ，

s ij ( x ki x i )( x

kjx j )

n 1 k 1

（ 2）求出 Σ 的特征值 i 及相应的正交化单位特征向量 a i WORD格式

专业资料整理

Σ的前 m个较大的特征值 1 2 , m>0,就是前 m个主成分对应的方差， i

对应的单位特征向量 a i 就是主成分 Fi 的关于原变量的系数，则原变量的第 i 个

主成分 Fi 为：

Fi = a i ' X

主成分的方差（信息）贡献率用来反映信息量的大小， i 为：

i i / i

i 1

（ 3）选择主成分

最终要选择几个主成分，即 F1,F2, ,, ,Fm 中 m的确定是通过方差（信息）

累计贡献率 G(m)来确定

m p

G ( m ) i / k

i 1 k 1

当累积贡献率大于 85%时，就认为能足够反映原来变量的信息了，对应的 m 就是抽取的前

m个主成分。

（ 4）计算主成分载荷

主成分载荷是反映主成分 Fi 与原变量 Xj 之间的相互关联程度，原来变量

Xj （j=1 ，2 ，, ， p ）在诸主成分 Fi （i=1 ，2，, ， m）上的荷载 lij （ i=1 ，

2，, ， m； j=1 ，2 ，, ， p）。：

l (Z i ,X j ) i a ij ( i 1, 2, , m ; j 1, 2, , p )

在 SPSS软件中主成分分析后的分析结果中， “成分矩阵 ”反应的就是主成分载荷矩阵。

（ 5）计算主成分得分

计算样品在 m个主成分上的得分：

F i a 1i X 1 a 2 i X 2 ... a p i X p i = 1 ，2， , ， m

实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：

其中： x

* xij x j 1, 2,..., n ; j

1, 2,..., p

x ij i

s j

1 n

xij ， s 2j ( x

ij x j ) 2

1 n 1 i 1 WORD格式

专业资料整理根据数学公式知道， ①任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。 ②另一方 WORD格式

专业资料整理

面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，

标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。

根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵，就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是：☆计算相关系数矩阵

☆求出相关系数矩阵的特征值 i 及相应的正交化单位特征向量 a i

☆选择主成分

☆计算主成分得分

总结：原指标相关系数矩阵相应的特征值 i 为主成分方差的贡献，方差的

贡献率为

，

i 越大，说明相应的主成分反映综合信息的能力越强，

i 1

可根据

i 的大小来提取主成分。每一个主成分的组合系数（原变量在该主成分

上的载荷） a i 就是相应特征值 i 所对应的单位特征向量。

主成分分析法的计算步骤

1、原始指标数据的标准化采集 p 维随机向量 x = ( x1 2p T i i1 i2ip T

，

i=1,2, ⋯ ,n，

,X ,...,X ) )n

个样品 x =

(x ,x ,...,x )

n＞ p，构造样本阵，对样本阵元进行如下标准化变换：

其中，得标准化阵 Z。

2、对标准化阵 Z 求相关系数矩阵

主成分分析方法及其应用效果评估

主成分分析（Principal Component Analysis，简称PCA）是一种常用的数据降维技术，被广泛应用于数据分析、模式识别和机器学习等领域。本文将介绍主成分分析的基本原理、具体方法以及其在实际应用中的效果评估。

一、主成分分析的基本原理

主成分分析是一种统计分析方法，旨在将具有相关性的多个变量转化为一组线性无关的新变量，称为主成分。通过降维，主成分分析可以有效减少数据的维度，并保留原始数据中的大部分信息。

主成分分析的基本原理是通过找到数据中的最大方差方向来构建主成分。具体步骤如下：

1. 标准化数据：对原始数据进行标准化处理，使得每个变量具有相同的尺度。

2. 计算协方差矩阵：计算标准化后数据的协方差矩阵。

3. 计算特征值与特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。

4. 选择主成分：根据特征值的大小排序，选择前k个特征值对应的特征向量作为主成分。

5. 构建主成分：将选择的主成分按权重线性组合，得到原始数据的主成分。二、主成分分析的具体方法

主成分分析可以通过多种计算方法实现，其中最常用的是基于特征值分解的方法。下面介绍主成分分析的具体计算步骤：

1. 标准化数据：对原始数据进行标准化处理，使得每个变量具有均值为0、方差为1的特性。

2. 计算协方差矩阵：将标准化后的数据计算协方差矩阵。

3. 特征值分解：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。

4. 选择主成分：根据特征值的大小选择前k个特征向量作为主成分。

5. 构建主成分：将选择的主成分按权重线性组合，得到原始数据的主成分。

三、主成分分析在实际应用中的效果评估

在应用主成分分析时，我们需要对其效果进行评估，以确保选择的主成分能够充分保留原始数据的信息。常用的效果评估方法有以下几种：

1. 解释方差比（Explained Variance Ratio）：解释方差比可以衡量每个主成分对原始数据方差的贡献程度。通常我们选择解释方差比较大的主成分作为保留的主要成分。 2. 累计解释方差比（Cumulative Explained Variance Ratio）：累计解释方差比表示前k个主成分能够解释的总方差比例。通常我们选择累计解释方差比达到一定阈值（如80%或90%）时的主成分数量。

主成分分析法及其应用

一、本文概述

主成分分析法（Principal Component Analysis，简称PCA）是一种广泛应用于数据降维和特征提取的统计方法。它通过正交变换将原始数据集中的多个变量转换为少数几个互不相关的主成分，这些主成分能够最大程度地保留原始数据集中的信息。本文旨在全面介绍主成分分析法的基本原理、实现步骤以及在各个领域中的应用案例。我们将详细阐述主成分分析法的数学基础和算法流程，包括协方差矩阵、特征值、特征向量等关键概念的计算方法。然后，我们将通过实例演示如何使用主成分分析法进行数据降维和特征提取，以及如何通过可视化工具展示降维后的数据效果。我们将探讨主成分分析法在机器学习、图像处理、生物信息学、社会科学等多个领域中的实际应用，展示其在数据分析和处理中的重要价值和潜力。

二、主成分分析法的基本原理

主成分分析法（Principal Component Analysis，简称PCA）是一种在多个变量中找出主要影响因素，并通过降维技术把多个变量转化为少数几个互不相关的综合变量的统计方法。这种方法在保持数据信息损失最小的原则下，通过正交变换将原始数据转化为一个新的坐标系统，使得在这个新的坐标系统中，任何数据的最大方差都投影在第一主成分上，第二大的方差都投影在第二主成分上，以此类推。

变量降维：在多数情况下，原始数据集中可能存在多个变量，这些变量之间可能存在相关性。主成分分析通过构造新的变量（即主成分），这些新变量是原始变量的线性组合，并且新变量之间互不相关，从而将原始的高维数据空间降维到低维空间，实现数据的简化。

方差最大化：主成分分析的另一个重要原理是方差最大化。这意味着，第一个主成分将捕获数据中的最大方差，第二个主成分捕获第二大方差，以此类推。通过这种方式，主成分分析能够识别出数据中的主要变化方向和模式。

数据解释性：主成分分析生成的主成分是对原始数据的线性变换，因此，每个主成分都可以被解释为原始变量的某种组合。这使得主成分分析不仅可以用于数据降维，还可以用于数据解释和特征提取。

带你认识主成分分析法

在研究某些问题时，需要处理带有很多变量的数据。变量和数据虽然很多，但可能存在噪音和冗余。然而，主成分分析法可以用少数变量来代表所有的变量，用来解释研究者所要研究的问题，化繁为简，抓住关键，也就是降维思想。

在研究某些问题时，需要处理带有很多变量的数据。比如，研究房价的影响因素，需要考虑的变量有物价水平、土地价格、利率、就业率等。变量和数据很多，但可能存在噪音和冗余，因为这些变量中有些是相关的，那么就可以从相关的变量中选择一个，或者将几个变量综合为一个变量，作为代表。用少数变量来代表所有的变量，用来解释所要研究的问题，就能化繁为简，抓住关键，这也就是降维的思想。

主成分分析法（Principal Component Analysis，PCA）就是一种运用线性代数的知识来进行数据降维的方法。它将多个变量转换出少数几个不相关的变量来，但转换后的变量能比较全面地反映整个数据集。这是因为数据集中的原始变量之间存在一定的相关关系，可用较少的综合变量来表达各原始变量之间的信息。

具体来看，在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大且和第一变量不相关，称为第二主成分。依次类推，i个变量就有i个主成分。

主成分分析法的核心思想是降维，而降维的基础是变量之间的相关性。主成分分析法不要求所有变量都相关，但部分变量之间的相关性比较大才能满足降维的条件，否则强制对不相关的变量进行降维，主成分分析法就失去了实际意义。因此，对于价格内在影响因素相关度较强的期货品种，用主成分分析法进行分析研究是比较合适的，而对于影响因素相关度较弱的期货品种不适合。

那么主成分分析法是如何降维的呢？从坐标变换的角度来获得一个感性的认识。

在短轴上，观测点数据的变化比较小，如果把这些点垂直地投影到短轴上，那么有很多点的投影会重合，这相当于很多数据点的信息没有被充分利用到。而在长轴上，观测点的数据变化比较大。因此，如果坐标轴和椭圆的长短轴平行，那么代表长轴的变量直接可以从数据集的原始变量中找到，它描述了数据的主要变化。而另一个原始变量就代表短轴的变量，描述的是数据的次要变化。