第五章 主成分分析

引言：主成分分析也称主分量分析，是由霍特林于1933 年首先提出的。

主成分分析是利用降维的思想，在损失很少信息的前提下，把多个指标转化为几个综合指标的多元统计方法。

通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能。

这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使得问题得到简化，提高分析效率。

本文用主成分分析的方法对某市14 家企业的经济效益进行分析。

[1] 在处理涉及多个指标问题的时候，为了提高分析的效率可以不直接对p 个指标构成的P维随机向量X=(X1, X2, X3, , Xp)进行分析，而是先对向量x进行线性变换，形成少数几个新的综合变量，使得个综合变量之间相互独立且能解释原始变量尽可能多的信息，这样在意损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。

主成分的基本思想就是在保留原始变量尽可能多的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。

而这里对于随机变量X1，X2，X3,……,Xp而言，其协方差矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反映，而相关矩阵不过是将原始变量标准化后的协方差矩阵我们所说的保留原始变量尽可能多的信息，也就是指生成的较少的综合变量 (主成分)的方差和尽可能接近原始变量方差的总和。

因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。

一般来说从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的本文我们用从原始变量的相关矩阵出发求得的主成分进行分析。

[5]一、材料与方法1.1数据材料表1 14 家企业的利润指标的统计数据1.2分析方法本文采用多元统计学方法，选取14家企业作为样本收集每家企业的8个不同的利润指标，利用spss统计软件做主成分分析，给出载荷阵，并通过载荷阵给出主成分系数表，写出主成分表达式以此给出14个企业的得分值，最后根据主成分构造一个综合性评价指标，对14个企业进行综合排名。

主成分分析主成分分析、因子分析等在多元统计分析中属于协方差逼近技术。

主要是从协方差矩阵出发，实现一种正交变换，从而将高维系统表示为低维系统，在此过程中可以揭示研究对象的许多性质和特征。

主成分分析的结果可以用于回归分析、聚类分析、神经网络分析等等。

只要懂得线性代数中二次型化为标准型的原理，就很容易掌握主成分分析的原理，进而掌握因子分析的原理。

在理解正交变换数学原理的基础上，我们可以借助Excel 开展主成分分析。

为了清楚地说明主成分的计算过程，不妨给出一个简单的计算实例。

【例】2000 年中国各地区的城、乡人口的主成分分析。

这个例子只有两个变量（m=2）：城镇人口和乡村人口；31 个样品：即中国的31 个省、自治区和直辖市（n=31）。

资料来自2001 年《中国统计年鉴》，为2000 年全国人口普查快速汇总的11 月1 日零时数。

由于变量太少，这个例子仅仅具有教学意义——简单的实例更容易清楚地展示计算过程的细节。

计算步骤5.1.1 详细的计算过程首先，录入数据，并对数据进行适当处理（图5-1-1）。

计算的详细过程如下。

第一步，将原始数据绘成散点图主成分分析原则上要求部分变量之间具有线性相关趋势。

如果所有变量彼此之间不相关（即正交），则没有必要进行主成分分析，因为主成分分析的目的就是用正交的变量代替原来非正交的变量。

如果原始变量之间为非线性关系，则有必要对数据进行线性转换，否则效果不佳。

从图5-1-2 可见，原始数据具有非线性相关趋势，可以近似匹配幂指数函数，且测定系数R2=0.5157，相应地，相关系数R=0.7181（图5-1-2a）；取对数之后，点列具有明显的线性趋势（图5-1-2b）。

第二步，对数据进行标准化标准化的数学公式为我们将对对数变换后的数据开展主成分分析，因此只对取对数后的数据标准化。

根据图5-1-1所示的数据排列，应该按列标准化，用xij 代表取对数之后的数据，则下式分别为第j 列数据的均值和标准差，xij 为第i 行（即第i 个样本）、第j 列（即第j 个变量）的数据，xij*为相应于xij 的标准化数据，n=31 为样品数目（参见图5-1-1）。

主成分分析步骤以教材第五章习题8的数据为例，演示并说明主成分分析的详细步骤: •原始数据的输入輪锹7 视附出敦据（囚烷飘D 井瞅① 图觀◎ 实用显序◎ 附加内諛Q）爾口迎帮肋® B? M *i宙邑並曲<e r 专注意事项：关键注意设置好数据的类型（数值？字符串？等等）以及小数点后保留数字的个数即可。

•选项操作1. 打开SPSS的“分析”-“降维”-“因子分析” 打开“因子分析”对话框（如下图）倉品女通和通讯选悻变豪（匚Ita（L）£2（R）取清眾助2.把六个变量：食品、衣着、燃料、住房、交通和通讯、娱乐教育文化输入到右边的待分析变量框。

3. 设置分析的统计量打开最右上角的“描述”对话框，选中“统计量”里面的“原始分析结果”和“相关矩阵”里面的“系数”。

（选中原始分析结果，SPSS自动把原始数据标准差标准化，但不显示出来；选中系数，会显示相关系数矩阵。

）。

然后点击“继续”。

统计星□单喪逼椅谨惟(U) 0原赠分忻结果①相关矩阵 ---------------------0 貳数©□ OMN)□泵薯惟水平□ R^(R) □柠列武Q) □反醍數&□ tiMO 和Bartlett 的補誓鹰桧验(K)鍵沽 取消 帮動打开第二个的“抽取”对话框：“方法”里选取“主成分”；“分析”、 和“抽取”这三项都选中各自的第一个选项即可。

然后点击“继续”。

方液血：主磁辞分新 ------------相羌性拒阵〔3)协方遵症阵3抽职特征值大于(&：O 因于的圃定麹・(吵 參槌取的因玖D ； 矗大收皴性电代吹教凶；(25|取请即助第三个的“旋转”对话框里，选取默认的也是第一个选项“无”“输出”输出H 未箍炜的Ema □即石阳鱼］第四个“得分”对话框中，选中“保存为变量”的“回归”；以及“显示因子得分系数矩阵”。

第五个“选项”对话框，默认即可。

这时点击“确定”，进行主成分分析。

可编辑修改精选全文完整版主成分分析（principal component analysis, PCA）如果一组数据含有N个观测样本，每个样本需要检测的变量指标有K个, 如何综合比较各个观测样本的性质优劣或特点？这种情况下，任何选择其中单个变量指标对本进行分析的方法都会失之偏颇，无法反映样本综合特征和特点。

这就需要多变量数据统计分析。

多变量数据统计分析中一个重要方法是主成份分析。

主成分分析就是将上述含有N个观测样本、K个变量指标的数据矩阵转看成一个含有K维空间的数学模型，N个观测样本分布在这个模型中。

从数据分析的本质目的看，数据分析目标总是了解样本之间的差异性或者相似性，为最终的决策提供参考。

因此，对一个矩阵数据来说，在K维空间中，总存在某一个维度的方向，能够最大程度地描述样品的差异性或相似性(图1)。

基于偏最小二乘法原理，可以计算得到这个轴线。

在此基础上，在垂直于第一条轴线的位置找出第二个最重要的轴线方向，独立描述样品第二显著的差异性或相似性；依此类推到n个轴线。

如果有三条轴线，就是三维立体坐标轴。

形象地说，上述每个轴线方向代表的数据含义，就是一个主成份。

X、Y、Z轴就是第1、2、3主成份。

由于人类很难想像超过三维的空间，因此，为了便于直观观测，通常取2个或者3个主成份对应图进行观察。

图（1）PCA得到的是一个在最小二乘意义上拟合数据集的数学模型。

即，主成分上所有观测值的坐标投影方差最大。

从理论上看，主成分分析是一种通过正交变换，将一组包含可能互相相关变量的观测值组成的数据，转换为一组数值上线性不相关变量的数据处理过程。

这些转换后的变量，称为主成分（principal component, PC）。

主成分的数目因此低于或等于原有数据集中观测值的变量数目。

PCA最早的发明人为Karl Pearson，他于1901年发表的论文中以主轴定理（principal axis theorem）衍生结论的形式提出了PCA的雏形，但其独立发展与命名是由Harold Hotelling于1930年前后完成。

一、主成分分析的思想主成分分析是数据处理中常用的降维方法。

我们需要处理的数据往往是高维数据，把它看成是由某个高维分布产生。

高维分布的不同维之间可能具有较强的相关性，这也就为数据降维提供了可能。

为了叙述清楚主成分分析的思想，我们通过二维数据进行叙述，即数据是由随机向量 (X_1,X_2) 产生，并假设X_1=X_2 。

通过该分布得到的样本点如图下所示：如果我们把每个数据点用 (x_1,x_2) 表示，那么，每个数据是二维的。

实际上，容易发现，我们只需要将坐标系进行旋转，旋转到红色坐标系位置，此时，每个数据点在新坐标系下的表示形式为为 (x_1^{'},0) ，由于每个数据点的第二维坐标都是 0 ，所以每个数据点只需要用一个数表示就行了，这样就把数据的维数从二维降到了一维。

接下来考虑不是完全线性关系，但是具有强相关性的情况，如下图所示：在这种情况下，我们不可能通过坐标系的平移与旋转，使所有点都落在一根轴上，即不可能精确地把数据用一维表示。

但是注意到 (X_1,X_2) 仍然有强相关性，我们仍然将坐标轴旋转到红色位置，可以看出，将数据在 x_1^{'} 上的投影近似代表原数据，几乎可以完全反映出原数据的分布。

直观看，如果要将数据投影到某根轴，并用投影来表示原数据，将数据压缩成一维，那么投影到 x_1^{'} 是最好的选择。

因为投影到这跟轴，相比于投影到其他轴，对原数据保留的信息量最多，损失最小。

如何衡量保留的信息量呢？在主成分分析中，我们用数据在该轴的投影的方差大小来衡量，即投影后方差越大（即投影点越分散），我们认为投影到该轴信息保留量最多。

从这种观点看，投影到 x_1^{'} 确实是最好的选择，因为投影到这根轴，可使得投影点最分散。

我们将数据的中心平移到原点（即新坐标轴的原点在数据的中心位置），为了消除单位的影响，我们将数据的方差归一化。

进一步考虑如下数据分布：根据上述，如果要将数据压缩为一维的，那么应该选择 F_1 轴进行投影，如果用该投影表示原数据的损失过大，我们可以再选择第二根轴进行投影，第二根轴应该与 F_1 垂直（保证在两根轴上的投影是不相关的）并且使得数据在该轴上投影方差最大，即图中的 F_2 轴（如果是二维情况，第一根轴确定后，第二根轴就确定了。

主成分分析主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维方法，它可以将高维度数据转换成低维度数据，并尽量保留数据的信息。

主成分分析的思想是通过对原始数据的线性变换，将其转换为一组新的变量，这些新变量是原始变量的线性组合。

这些新变量被称为主成分，它们可以解释原始数据的大部分方差，从而将原始数据的维度降低。

主成分分析的作用主成分分析可以用于数据预处理、数据压缩、数据可视化和模型建立等方面。

在数据预处理阶段，主成分分析可以用于去除数据中的冗余信息，减少数据噪声，提高数据的质量。

在数据压缩阶段，主成分分析可以将高维度数据压缩成低维度数据，从而节省存储空间和计算时间。

在数据可视化阶段，主成分分析可以将高维度数据转换成低维度数据，进行可视化展示，帮助用户更直观地理解数据和发现数据中隐藏的规律。

在模型建立阶段，主成分分析可以用于特征提取，减少维度的同时又不失去数据的重要特征，帮助用户更准确地建立模型，提高模型的预测准确率。

主成分分析的应用主成分分析广泛应用于各个领域，例如金融、医学、环境、工业等。

在金融领域，主成分分析可以用于建立风险评估模型，帮助投资者了解投资组合的风险。

在医学领域，主成分分析可以用于进行疾病预测，帮助医生快速准确地诊断疾病。

在环境领域，主成分分析可以用于分析空气质量和水质，帮助政府和公众了解环境状况。

在工业领域，主成分分析可以用于质量控制和生产优化，帮助企业降低成本和提高效率。

主成分分析的注意事项要注意主成分分析的前提条件，即原始数据必须为线性数据，在进行主成分分析前需要先对数据进行标准化处理。

此外，在进行主成分分析时，应根据实际问题选择合适的主成分数量，不能盲目追求降维程度，以免丢失重要信息。

同时，主成分分析的结果需要进行解释和验证，以确保分析结果的可靠性和有效性。

结语主成分分析是一种十分常用且十分有效的数据降维方法，它能够将高维度数据转换成低维度数据，并尽量保留数据的信息。

主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。

在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。

这些涉及的因素一般称为指标，在多元统计分析中也称为变量。

因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。

在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。

主成分分析正是适应这一要求产生的，是解决这类题的理想工具。

主成分分析法是一种数学变换的方法, 它把给定的一组相关变量通过线性变换转成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。

在数学变换中保持变量的总方差不变，使第一变量具有最大的方差，称为第一主成分，第二变量的方差次大，并且和第一变量不相关，称为第二主成分。

依次类推，I 个变量就有I个主成分。

这种方法避免了在综合评分等方法中权重确定的主观性和随意性，评价结果比较符合实际情况；同时，主成份分量表现为原变量的线性组合，如果最后综合指标包括所有分量，则可以得到精确的结果，百分之百地保留原变量提供的变差信息，即使舍弃若干分量，也可以保证将85％以上的变差信息体现在综合评分中，使评价结果真实可靠。

是在实际中应用得比较广的一种方法。

由于其第一主成份（因子）在所有的主成分中包含信息量最大，很多学者在研究综合评价问题时常采用第一主成分来比较不同实体间的差别。

综上所述，该方法的优点主要体现在两个方面：1.权重确定的客观性；2.评价结果真实可靠。

1．主成分分析的基本原理主成分分析：把原来多个变量划为少数几个综合指标的一种统计分析方法，是一种降维处理技术。

）记原来的变量指标为x1，x2，…，xP，它们的综合指标——新变量指标为z1，z2，…，zm（m≤p），则z1，z2，…，zm分别称为原变量指标x1，x2，…，xP的第一，第二，…，第m 主成分，在实际问题的分析中，常挑选前几个最大的主成分。

数学建模第五讲主成分分析主成分分析的基本思想是寻找数据中最重要的方向，这些方向被称为主成分。

每个主成分都与其他主成分正交，即彼此之间没有相关性。

通过找到主成分，我们可以将高维数据投影到低维空间中，以找到数据的主要结构和模式。

要进行主成分分析，首先需要对数据进行标准化，使得每个变量的均值为0，方差为1、然后，通过计算数据的协方差矩阵，可以得到数据中变量之间的相关性。

协方差矩阵对角线上的元素表示各个变量的方差，非对角线上的元素表示变量之间的协方差。

接下来，需要计算协方差矩阵的特征值和对应的特征向量。

特征值表示数据在特定方向上的方差，而特征向量表示数据在该方向上的投影。

特征向量将数据投影到一个新的方向，这个方向上的方差最大，即数据在这个方向上的信息量最大。

根据特征值的大小，可以选择最重要的特征向量作为主成分。

在选择主成分时，通常选择特征值较大的特征向量，因为它们对应的方差较大，即数据在这些方向上的信息量较多。

选择的主成分的个数通常由用户自行指定，可以根据实际应用中的需求和数据的维度进行调整。

选取主成分后，可以通过对数据进行投影来进行降维。

投影的结果是一个低维空间的表示，可以更容易地可视化和分析。

在投影后的空间中，样本之间的距离仍然能够保持原始数据中的信息，但是可以大大减少数据的维度。

除了降维外，主成分分析还可以用于特征选择、噪声过滤、数据可视化等领域。

通过主成分分析，我们可以从高维数据中提取出最重要的信息，简化数据分析过程。

在应用主成分分析时，还需要注意一些问题。

首先，主成分分析假设数据服从多元正态分布，如果数据不满足该假设，则结果可能会失真。

另外，当数据的维度较高时，计算协方差矩阵和特征值分解可能会变得非常耗时，并且需要大量的内存空间。

因此，在应用主成分分析时，需要考虑这些因素，选择合适的算法和工具。

总之，主成分分析是一种重要的降维方法，在数学建模中具有广泛的应用。

通过寻找数据中最重要的方向，主成分分析可以简化数据的结构，提取出数据中的主要信息。