7-1主成分分析解析

格式：ppt
大小：838.00 KB
文档页数：32

下载文档原格式

/ 32

主成分分析在生物医学数据处理中的有效性研究

主成分分析在生物医学数据处理中的有效性研究主成分分析（PCA）是一种常用的多变量数据分析方法，广泛应用于生物医学研究中的数据处理。

本文旨在探讨主成分分析在生物医学数据处理中的有效性，并分析其优缺点及应用前景。

一、主成分分析的基本原理主成分分析是一种线性变换技术，用于将多个相关变量转化为一组不相关的主成分。

其基本原理是根据原始变量之间的协方差矩阵，通过求解特征值和特征向量来确定主成分。

主成分是通过对原始数据进行正交变换得到的，具有不同的方差，使得第一个主成分方差最大，第二个主成分方差次之，依此类推。

主成分的方差反映了原始变量的信息量，维度的降低减少了数据的冗余信息。

二、主成分分析在生物医学数据处理中的应用1. 数据降维：生物医学研究中常涉及大量的变量，使用主成分分析可以将这些变量降维为少数几个主成分，保留了绝大部分的数据变异性，同时减少了计算复杂度和存储空间。

这种降维方法不仅可以减少数据分析的计算负担，还可以提高后续分析的效率。

2. 数据可视化：主成分分析将原始数据映射到主成分空间中，通过绘制主成分之间的散点图或散点矩阵，可以直观地观察变量之间的关系和趋势。

这对于探索性数据分析和辅助假设检验具有重要意义。

同时，主成分分析可用于绘制数据集的聚类图、散点图矩阵和生物样本间的关系图，有助于研究人员整体把握数据特点和样本间的差异。

3. 数据预处理：在进行生物医学数据分析时，常常需要对数据进行预处理，例如去除异常值、填补缺失值和标准化等。

主成分分析可用于处理带缺失值的数据集，通过估计缺失的观测值来恢复原始数据，从而保留数据集的完整性和准确性。

三、主成分分析的优缺点1. 优点（1）减少数据维度：通过主成分分析降维，保留了大部分的数据变异性和信息量，减少了计算复杂度和存储空间。

（2）数据可视化：主成分分析可以将原始数据映射到主成分空间中，便于绘制变量之间的散点图或散点矩阵，直观地观察变量之间的关系和趋势。

（3）数据预处理：主成分分析可用于处理带缺失值的数据集，维护了数据的完整性和准确性。

数据挖掘中的主成分分析方法原理解析

数据挖掘中的主成分分析方法原理解析数据挖掘是一门涉及大数据处理和分析的领域，而主成分分析（Principal Component Analysis，PCA）是其中一种常用的数据降维方法。

本文将解析主成分分析方法的原理。

一、主成分分析的背景和目的在数据挖掘中，我们常常面临的问题是如何处理高维度的数据。

高维度数据不仅难以可视化，而且会导致计算复杂度的增加。

主成分分析的目的就是通过线性变换将原始的高维度数据转换成低维度的数据，同时保留原始数据中的最重要的信息。

二、主成分分析的基本原理主成分分析的核心思想是通过线性变换将原始数据投影到一个新的坐标系中，使得投影后的数据具有最大的方差。

这样做的目的是为了找到数据中最重要的特征，即主成分。

主成分分析的步骤如下：1. 标准化数据：首先，对原始数据进行标准化处理，即将每个特征的均值调整为0，方差调整为1。

这样做的目的是为了消除不同特征之间的尺度差异。

2. 计算协方差矩阵：接下来，计算标准化后的数据的协方差矩阵。

协方差矩阵描述了不同特征之间的相关性。

协方差矩阵的对角线上的元素表示每个特征的方差，非对角线上的元素表示不同特征之间的协方差。

3. 计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。

特征值表示了在新坐标系下的投影方差，而特征向量表示了对应的投影方向。

4. 选择主成分：根据特征值的大小，选择前k个特征值对应的特征向量作为主成分。

这些主成分是原始数据中最重要的特征。

5. 数据转换：将原始数据投影到选定的主成分上，得到降维后的数据。

三、主成分分析的应用主成分分析在数据挖掘中有广泛的应用。

首先，它可以用于数据预处理，即在进行其他数据挖掘算法之前，对数据进行降维处理。

这样可以减少计算复杂度，同时保留重要的信息。

其次，主成分分析可以用于数据可视化。

通过将高维度数据降维到二维或三维空间，我们可以更好地理解数据之间的关系。

此外，主成分分析还可以用于特征选择，即选择最重要的特征用于建模和预测。

利用主成分分析解析心脏病患者病情的关键因素

利用主成分分析解析心脏病患者病情的关键因素心脏病是一种常见且严重的疾病，它对患者的健康和生活质量产生了巨大的影响。

为了更好地了解心脏病患者的病情状况，我们可以利用主成分分析（Principal Component Analysis，简称PCA）这一统计方法来解析心脏病患者病情的关键因素。

主成分分析是一种多元统计方法，可以用来降低数据的维度，同时保留数据中最重要的信息。

通过将原始数据投影到一组新的变量（主成分）上，主成分分析可以帮助我们发现影响心脏病患者病情的关键因素。

为了利用主成分分析解析心脏病患者病情的关键因素，我们需要进行以下步骤：1. 数据收集和准备：收集包含心脏病患者的临床数据，例如年龄、性别、血压、胆固醇水平等。

确保数据的准确性和完整性，并进行预处理，如缺失值填充和异常值处理。

2. 标准化数据：在进行主成分分析之前，我们需要将数据进行标准化处理，以保证各个变量之间的单位和范围一致。

常用的标准化方法有Z-score标准化和min-max标准化。

3. 计算协方差矩阵：协方差矩阵反映了原始数据中各个变量之间的相关关系。

通过计算协方差矩阵，我们可以得到各个变量之间的相关性。

协方差矩阵的计算可以使用相关系数矩阵或协方差矩阵函数。

4. 计算特征值和特征向量：通过对协方差矩阵进行特征值分解，我们可以得到特征值和对应的特征向量。

特征值表示主成分的解释方差比例，而特征向量表示每个主成分在原始变量上的权重。

5. 选择主成分：通过观察各个特征值的大小，我们可以选择保留的主成分数量。

通常，我们会选择保留那些特征值大于1的主成分，因为它们可以解释原始数据中的大部分方差。

6. 计算主成分得分：利用选定的主成分，我们可以将原始数据投影到新的主成分空间中，从而得到每个样本在主成分上的得分。

主成分得分可以帮助我们理解不同样本之间在关键因素上的差异。

7. 解释主成分：通过分析主成分的特征向量，我们可以解释主成分所代表的关键因素。

主成分分析计算流程

主成分分析计算流程下载温馨提示:该文档是我店铺精心编制而成，希望大家下载以后，能够帮助大家解决实际的问题。

文档下载后可定制随意修改，请根据实际需要进行相应的调整和使用，谢谢!并且，本店铺为大家提供各种各样类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，如想了解不同资料格式和写法，敬请关注!Download tips: This document is carefully compiled by theeditor. I hope that after you download them,they can help yousolve practical problems. The document can be customized andmodified after downloading,please adjust and use it according toactual needs, thank you!In addition, our shop provides you with various types ofpractical materials,such as educational essays, diaryappreciation,sentence excerpts,ancient poems,classic articles,topic composition,work summary,word parsing,copy excerpts,other materials and so on,want to know different data formats andwriting methods,please pay attention!主成分分析（Principal Component Analysis，PCA）是一种常用的数据分析方法，用于将多个相关变量转换为一组较少的不相关变量，这些不相关变量称为主成分。

聚类分析与主成分分析

第七页，共90页。
二、聚类分析的典型(diǎnxíng)应用
• 作为统计(tǒngjì)学的一个分支，聚类分析已有多年的研究历史，这些研究主要集中在基于距离的聚类分析方面。
• 许多统计(tǒngjì)软件包，诸如：SAS、SPSS 和S-PLUS等都包含它许多聚类分析工具。
第八页，共90页。
• 图论法。从几何观点来考虑。将n个样品看成m维空间的n个点，点与点间用直线连接，从而构成m维空间的点的连接图，再应用图论的观点将样本点在m维空间作最小支撑(zhī chēng)数，最终达到分类目的。
第十二页，共90页。
六、tree过程(guòchéng)
• 画出用于描述整个聚类过程的树状图
• 两种：
• 如何解释主成分所包含的经济意义。
第四十六页，共90页。
数学模型和几何(jǐ hé)解释
• 为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出(kàn chū)这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和 x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
第十一页，共90页。
五、聚类分析方法(fāngfǎ)
• 系统聚类法。先将n个元素看成n类，然后将性质最接近（或相似程度最大）的两类合并为一个新类，得到n-1类。再从中找出最接近的两类加以合并，变成n-2类。如此下去，最后所有的元素全聚在一类之中。
• 调优法。先将样品做一个初始的分类，然后按照某种最优的原则逐步调整，一直调整到分类比较合理为止。

统计学研究生数据分析单选题100道及答案解析

统计学研究生数据分析单选题100道及答案解析1. 数据的收集、整理、分析和解释的过程被称为（）A. 统计学B. 数据分析C. 数据挖掘D. 机器学习答案：A解析：统计学是研究数据的收集、整理、分析和解释的一门学科。

2. 以下哪种数据收集方法属于观察法？（）A. 问卷调查B. 实验C. 直接观察D. 电话访谈答案：C解析：直接观察是观察法的一种，通过直接观察对象来收集数据。

3. 对于定类数据，最适合的描述统计量是（）A. 均值B. 中位数C. 众数D. 标准差答案：C解析：众数适用于定类数据，用来表示出现频率最高的类别。

4. 一组数据中最大值与最小值之差称为（）A. 极差B. 方差C. 标准差D. 平均差答案：A解析：极差是最大值减去最小值。

5. 若一组数据呈右偏分布，则其众数、中位数和均值的关系为（）A. 众数< 中位数< 均值B. 众数= 中位数= 均值C. 众数> 中位数> 均值D. 中位数< 众数< 均值答案：A解析：右偏分布时，均值大于中位数，中位数大于众数。

6. 抽样误差是指（）A. 调查中所产生的登记性误差B. 调查中所产生的系统性误差C. 随机抽样而产生的代表性误差D. 由于违反随机原则而产生的误差答案：C解析：抽样误差是由于随机抽样的随机性导致的样本统计量与总体参数之间的差异。

7. 简单随机抽样中，抽样平均误差与样本容量的关系是（）A. 样本容量越大，抽样平均误差越大B. 样本容量越大，抽样平均误差越小C. 两者无关D. 不确定答案：B解析：样本容量越大，抽样平均误差越小，抽样精度越高。

8. 在其他条件不变的情况下，置信水平越高，置信区间（）A. 越窄B. 越宽C. 不变D. 不确定答案：B解析：置信水平越高，需要包含更多的可能性，所以置信区间越宽。

9. 假设检验中，第一类错误是指（）A. 原假设为真时拒绝原假设B. 原假设为假时接受原假设C. 原假设为真时接受原假设D. 原假设为假时拒绝原假设答案：A解析：第一类错误又称拒真错误，即原假设为真时拒绝原假设。

主成分分析【可编辑全文】

沿着xl轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl的方差和x2的方差定量地表示。显然，如果只考虑xl和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。
• 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和 F2。Fl和F2是两个新变量。
• 如果变量分组较有规则，则从特征向量各分量数值作出组内组间对比分析。
主成分分析的一般步骤
6. 解释各个主成分的含义 7. 进行其他分析
利用SPSS进行主成分分析的步骤
1. 指标数据的标准化。
可以利用“Descriptive statistics” 中的“Descriptives”进行标准化。
这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。其中, Xi 是经过标准化后的变量。
F1 u11X1 u21X 2 u p1X p F2 u12 X1 u22 X 2 u p2 X p
Fp u1p X1 u2 p X 2 u pp X p
4. 确定主成分 Fi 的表达式：将表 “Component Matrix”(初始因子载荷阵)中的第i列向量除以第i个特征根的平方根，得到第i个主成分Fi的变量系数向量。
5. 对主成分Fi进行解释。
• x1：数学 • x2：物理 • x3：化学 • x4：语文 • x5：历史 • x6：英语
满足如下的条件：
每个主成分的系数平方和为1。即
u2 1i
u2 2i
u
2 pi
1
主成分之间相互独立，即无重叠的信息。即
Cov（Fi，Fj） 0，i j，i，j 1， 2，，p 主成分的方差依次递减，重要性依次递减，即

主成分分析方法-PPT课件

定义：记x1，x2，…，xP为原变量指标，z1， z2，…，zm（m≤p）为新变量指标
z1 l1 1x1 l1 2x2 l1 p x p z2 l2 1x1 l2 2x2 l2 p x p z l x l x l x m1 1 m2 2 mp p m
2.根据特征根的变化来确定
1 p i 1 p i1
i
④ 计算主成分载荷
l p ( z , x ) e ( i , j 1 , 2 , , p )（3.5.5） ij i j i ij
⑤ 各主成分的得分：
z11 z 21 Z z n1 z12 z 22 zn2 z 1m z 2m z nm
六、主成分模型中各统计量的意义

１、主成分的方差贡献率：
i

p

i1
i
这个值越大，表明第i主成分综合信息的
能力越强。 i 2、主成分的累计贡献率 i 表明取前几个主成分基本包含了全部测量指标所具有信息的百分率。
七、主成分个数的选取
1.累积贡献率达到85%以上
ei
e i 1 , 2 , ,p )，要求 i(

p
j 1
e ij2 1 ，
③ 计算主成分贡献率及累计贡献率
▲贡献率:
i

k 1
p
(i 1 ,2, , p)
k
▲累计贡献率:

k 1 k 1 p i k
(i 1,2, , p )
k
, , 一般取累计贡献率达85—95%的特征值 1 2, m 所对应的第一、第二、…、第m（m≤p）个主成分。

主成分分析算法解析

也就是说，Y1的最大方差为
，其相应的单位化特征向量是
1
1
Y k 的最大方差为第k大特征根 k ，其相应的单位化特征向量是 k
主成分分析的数学推导
由上述推导，我们得到以下结论：设
X[X1,X2,...,Xn]T的协方差矩阵为Σ，
其特征根为 12n0
相应的单位化特征向量为1,2,...,n
则由此所确定的主成分是
返回
主成分分析的数学描述
主成分分析就是针对原始数据，要寻求那些主成分并以它们为坐标轴构建一个新的坐标系，使得原始数据在新坐标轴上的投影的方差最大。
主成分分析可用数学语言描述为:给定n维空间中的m个数据 (如图像信息、工业参数、基因指标等)，寻求一个nxn维的变换矩阵W,使得Y=[y1,y2,…,ym]=WTX，而且满足新坐标系下各维之间数据的相关性最小，或者说一个去相关性的过程。
θ
X1
主成分分析在二维空间的几何意义
经过坐标变换可以看到，在新坐标系y1Oy2下m个散点的坐标Y1和Y2几乎不相关。散点总是沿着y1和y2方向分布，它们在y1轴上的方差达到最大，在y2轴上的方差次之，所以在这两个方向上散点的离散程度很小。
在这里，我们把Y1称为第一主成分，Y2称为第二主成分。
构造目标函数 1 (1 ,)1 T 1 (1 T1 1 )
并对目标函数 1 微分，有
即
1 1
2121 0
(I)1 0
两边分别左乘
T 1
，可得
1T 1
主成分分析的数学推导
(I)10是X的协方差矩阵的特征方程，因为
是非负定的，所以特征根均大于0，假设12n0
由式 1T 1 可知Y1的方差为

主成分分析法原理

主成分分析法原理主成分分析法（PrincipalComponentAnalysis，简称PCA）是统计学中一种在数据挖掘、生物信息学、商业分析以及投资管理等多个领域中都被采用的统计方法。

它能够降低数据的维度，保留原来数据的有效信息，并可以将高维度的数据转换成更少的维度，这样可以更加便于分析。

主成分分析的原理是，将原有的变量用新的表达和变换来表示，以此来减少变量的数量，同时保留原有变量中的有效信息。

主成分分析通过将原有变量组合成一组新变量（主成分），依据这组新变量我们可以更好地理解原始变量的相互关系和结构，用新的表达方式对原始的数据进行重新解析。

PCA的基本思想是：将一组变量（观测值）通过一系列变换，用一组新的变量（主成分）来描述。

PCA之所以能够取得良好的效果，在于它所使用的新变量（主成分）具有以下特点：（1）新变量彼此之间是正交的；（2）新变量描述原来变量中的总变异性最大化；（3）新变量能够呈现出从原来变量中更为概括和简单的表达。

这些特点使PCA有效地减少变量空间中的冗余特征，使得原有信息能够被有效地提取，从而对原始变量的结构和相互关系有更深入的理解和控制。

主成分分析的概念和算法可追溯至20世纪20年代，但是直到最近才被广泛采用。

PCA的运用可以分为两个主要步骤，即：（1）数据的预处理；（2）主成分分析。

预处理步骤主要用于将原始数据进行规范化，以使之具有相同的尺度，此外，还可以用来消除原始数据中的偏差，以避免进入PCA分析时由于偏离正态分布而出现误差。

而主成分分析步骤主要是针对预处理步骤后的数据，将原来的若干变量合并在一起，形成一系列新的变量，也就是主成分。

PCA的优势及其应用领域在于它能够有效地降维，同时又能够保留原始数据的信息量和本质。

它可以将原有变量组合成一组新变量，有效地进行数据重构，使得平行度相对较高，并将数据更好地还原到原始空间，从而更加容易进行数据分析。

PCA应用于图像处理、信息检索、机器学习、金融建模、记忆资源管理等多个领域，其优势显而易见，使得PCA的应用越来越广泛。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

必增加了分析问题的复杂性.主成分分析就是设法将原来指标重新组合成一组新的相互无关的几个综合指标来代替原来指标,同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息 .
这种将多个指标化为少数相互无关的综合指标的统
计方法叫做主成分分析.
主成分分析的基本方法是通过构造原变量的适当的线性组合,以产生一系列互不相关的新信息,从
T i
epi X p , i 1,2,
, p,
并且有:
Var (Yi ) eiT ei i , i 1, 2, , p, T Cov ( Y , Y ) e i k i ek 0, i k .
由此可知,求X的各主成分,等价于求∑的各个特征值及其相应的正交单位化特征向量,按特征值由大到小所对应的特征向量为组合系数的X1,X2,…,Xp的线性组合分别为X的第一、第二、甚至第p个主成分, 而各主成分的方差等于相应的特征值. 下面进一步讨论X1,X2,…,Xp的方差与各主成分的方差之间的关系,以确定各主成分所包含的信息占中总信息的份额.易证下面结果: 定理2 设Yi=eiTX(i=1,2,…,p)为X的p各主成分,则:
1 /(1 2 ) 99.2%
可以看到由于X2的方差很大,它完全控制了提取信息量占99.2%的第一主成分,淹没了X1的作用.
如果从ρ出发作主成分分析,易求得 * 1* 1.4, e1 (0.707,0.707)T ,
* * 2 0.6, e2 (0.707, 0.707)T
T l2 l2 1 及 l1T l2 0 之下
求l2 使Var(Y2)达到最大,由此l2所确定的随机变量 Y2=l2TX称为X的第二主成分.
T max Var(Y) l l 一般,由优化问题 l
lT l 1 T Cov ( Y , Y ) l li 0, i 的l解得的Y=lTX称为X的第k主成分.
x2
Xi
yi
u
x1
yi u X i
T
一般如何求“最好”的方向 u
1. 数学模型
设X1,X2,…,Xp为某实际问题所涉及的p个随机变量. 记X=(X1,X2,…,Xp)T,其协方差矩阵为
( ij ) p p E X E ( X ) X E ( X )
T
设li=(l1i, l2i ,…, lpi )T(i=1,2,…,p)为p个常数向量,考虑如下线性组合:
X*的两个主成分分别为
* Y1 0.707 X1* 0.707 X 2 0.707( X1 1 ) 0.707( X 2 2 ) * Y2 0.707 X1* 0.707 X 2 0.707( X1 1 ) 0.707( X 2 2 )
X2 Y2
Y1
X1
对于二元正态分布变量,n个点的散布大致为一个椭圆, 若在椭圆长轴方向取坐标轴Y1,在短轴方向取Y2,这相当于在平面上作一个坐标变换,即:
Y1 X 1 cos X 2 sin Y2 X 1 sin X 2 cos
可以看到Y1、Y2是原变量X1和X2的线性组合,用矩阵表示为
i 1, 2,..., k 1
利用微积分知识的知识,可得如下结论. 定理1 设∑是X=(X1,X2,…,Xp)T的协方差矩阵, ∑的特征值及其相应的正交单位特征向量分别为 1 2 p 0 及e1,e2,…,ep,则X的第i个主成分为
Yi e X e1i X1 e2i X 2
第一主成分可解释为身材魁伟与否. 第二主成分可解释为体型成分. 当y2较大时,表明x1， x4大而x2， x3小,说明该生较瘦当y2较小,时,表明x1 ，x4小而x2， x3大,说明该生较胖
4 . 举例
例一
设模式X=(X1,X2,X3)T的协方差矩阵为
1 2 0 2 5 0 , 0 0 2
袖长胸围长度指标经过主成分分析胖痩指标腰围肩宽反映特体的指标肩厚
在实际问题中,研究多变量问题是经常遇到的, 然而在多数情况下,不同指标之间是有一定相关性.
由于指标较多,再加上指标之间有一定的相关性,势
2.主成分的计算方法
在实际问题中,一般∑(或ρ)是未知的,需要通过样本来估计.设 1 n T S ( sij ) p p ( x x )( x x ) , k k n 1 k 1 sij R (rij ) p p sii s jj
其中
x ( x1 , x2 , , x p )T , 1 n xi xij , i 1,2, n j 1 , p, , p.
T ì Y A l ï 1 1 X = l11X 1 + l21X 2 + L + l p 1X p , ï ï ï T ï Y A l 2 2 X = l12X 1 + l22X 2 + L + l p 2X p , ï ï í ï M ï ï ï T ï Y A l ï p p X = l1p X 1 + l2 p X 2 + L + lpp X p , ï î
如果从∑出发作主成分分析,易求得 1 100.16, e1 (0.040,0.999)T ,
2 0.84, e2 (0.999, 0.040)T
X的两个主成分分别为
Y1 0.040 X1 99 X 2 , Y2 0.999 X1 0.040 X 2.
第一主成分的贡献率为
T
只要求出R的特征值及相应的正交单位化特征向量,类似上述结果可求得标准化样本主成分.这时标准化样本的样本总方差为p.
1) 理论解释
3. 主成分解释
从代数观点看主成分就是p个变量X1,X2,…,Xp的一些特殊的线性组合. 在几何上这些线性组合正是把X1,X2,…,Xp构成的坐标系旋转产生新坐标系,新坐标系轴使之通过样本变差最大的方向(或说具有最大的样本方差). 下面以最简单的二元正态变量来说明主成分的几何意义. 设有n个样本,每个样本有p个变量记为X1,X2,…,Xp,它们的综合变量记为Y1,Y2,…,Yp.当p=2时,原变量是X1, X2,设X=(X1,X2)’～N2(μ, ∑),它们有下图的相关关系:
Var ( X )
i 1 i i 1
p
p
ii
i Var (Yi ).
i 1 i 1
p
p
由定理2,我们特给出如下定义: 定义第k个主成分Yk的贡献率为:
k

i 1
p
i
前m个主成分Y1,Y2,…,Ym的累计贡献率为:

i 1 i 1 p
m
i
i
在实际应用中,通常选取m<p,使前m个累计贡献率达到一定的比例(80%～90%).这样用前m 个主成分代替原来的变量X1,X2,…,Xp而不至于损失太多的信息,从而到达减少变量个数的目的.
取第一主成分,则贡献率为
5.83 73% 5.83 2.00 0.17
若取前两个主成分,则累计贡献率为
5.83 2.00 98% 5.83 2.00 0.17
因此,可用前两个主成分代替原来三个变量.
例二
设随机变量X=(X1,X2 )T的协方差矩阵为
1 0.4 , 相应的相关矩阵为 0.4 1 4 1 , 0.4 100
Y1 cos Y2 sin
sin X1 X U X cos 2
显然U’=U-1且是正交矩阵. 如果上图的椭圆是相当扁平的,可以只考虑长轴Y1方向上的波动,忽略Y2方向的波动.这样,二维可以降为一维.
一般情况,p个变量组成p维空间,n个样本就是p 维空间的n个点,对p元正态分布变量来说,找主成分的问题就是找p维空间中椭圆体的主轴问题.
求X的各主成分.
解: 易求得∑的特征值及其相应的正交化特征向量分别为 1 5.83, e1T (0.383, 0.924,0),
T 2 2.00, e2 (0,0,1), T 3 0.17, e3 (0,924,0,383,0).
因此X的主成分为
T Y1 e1 X 0.383 X 1 0.924 X 2 , T Y2 e2 X X3, T Y3 e3 X 0.924 X 1 0.383 X 2 .
中选出少数几个新变量并使它们含有尽可能多的原
变量带有的信息,从而使得用这几个新变量代替原变量分析问题和解决问题成为可能.当研究的问题确定之后,变量中所含“信息”的大小通常用该变量的方差或样本方差来度量.
如图, 设二维样本集呈现扁椭圆分布. 将二维样本Xi向长轴方向投影,可得到一维样本yi 设u为长轴方向的单位向量,则有
易知有:
Var (Yi ) Var (liT X ) liT li , i 1, 2, , p, i, j 1, 2, , p.
T Cov(Yi , Y j ) Cov(liT X , l T X ) l j i l j , i j,
我们希望用Y1代替原来p个变量,这就要求Y1尽可能的反映原p个变量的信息,即Var(Y1)越大.为此,我们对li 做如下限制,否则Var(Y1)无界,即:
第七章主成分分析 Principal Component Analysis Factory Analysis
主成分分析
1 . 数学模型 2 . 主成分的计算方法 3. 主成分解释
4. 举例
主成分分析是处理降维的一种方法.如下例所示:
某人要做一件上衣要测量很多尺寸,如身长、袖长等十几项指标,但某服装厂要生产一批新型服装绝不可能把尺寸的型号分得过多,而是从多种指标中综合成几个少数的综合指标,作为分类的型号,如下图: 身长