(完整版)主成分分析法的步骤和原理
- 格式:doc
- 大小:30.52 KB
- 文档页数:2
主成分分析方法及其应用效果评估主成分分析(Principal Component Analysis,简称PCA)是一种常用的数据降维技术,被广泛应用于数据分析、模式识别和机器学习等领域。
本文将介绍主成分分析的基本原理、具体方法以及其在实际应用中的效果评估。
一、主成分分析的基本原理主成分分析是一种统计分析方法,旨在将具有相关性的多个变量转化为一组线性无关的新变量,称为主成分。
通过降维,主成分分析可以有效减少数据的维度,并保留原始数据中的大部分信息。
主成分分析的基本原理是通过找到数据中的最大方差方向来构建主成分。
具体步骤如下:1. 标准化数据:对原始数据进行标准化处理,使得每个变量具有相同的尺度。
2. 计算协方差矩阵:计算标准化后数据的协方差矩阵。
3. 计算特征值与特征向量:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
4. 选择主成分:根据特征值的大小排序,选择前k个特征值对应的特征向量作为主成分。
5. 构建主成分:将选择的主成分按权重线性组合,得到原始数据的主成分。
二、主成分分析的具体方法主成分分析可以通过多种计算方法实现,其中最常用的是基于特征值分解的方法。
下面介绍主成分分析的具体计算步骤:1. 标准化数据:对原始数据进行标准化处理,使得每个变量具有均值为0、方差为1的特性。
2. 计算协方差矩阵:将标准化后的数据计算协方差矩阵。
3. 特征值分解:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
4. 选择主成分:根据特征值的大小选择前k个特征向量作为主成分。
5. 构建主成分:将选择的主成分按权重线性组合,得到原始数据的主成分。
三、主成分分析在实际应用中的效果评估在应用主成分分析时,我们需要对其效果进行评估,以确保选择的主成分能够充分保留原始数据的信息。
常用的效果评估方法有以下几种:1. 解释方差比(Explained Variance Ratio):解释方差比可以衡量每个主成分对原始数据方差的贡献程度。
统计学中的主成分分析主成分分析(Principal Component Analysis, PCA)是一种多变量分析方法,用于降维和数据可视化。
它通过将原始数据转换为新的坐标系,使得转换后的数据能够保留原始数据的主要变化趋势,并且可以按照重要性进行排序。
在本文中,将介绍主成分分析的原理、应用场景和步骤。
一、主成分分析原理主成分分析的核心是寻找数据中的主要变化趋势,即找到数据中的主成分。
主成分是数据最大方差方向上的投影,也即是能够解释数据中最大不同的变量。
对于一个具有p个变量的数据集,主成分分析可以得到p个主成分,按照重要性递减排序。
通过选择适当数量的主成分,可以实现对数据的降维和可视化。
主成分分析的计算过程可以通过特征值分解或奇异值分解来实现。
特征值分解会得到数据的特征向量和特征值,而奇异值分解则可以直接得到主成分。
在实际应用中,奇异值分解是更常用的方法。
二、主成分分析的应用场景主成分分析广泛应用于各个领域,包括金融、生物学、社会科学等。
下面将介绍主成分分析在这些领域的具体应用。
1. 金融:主成分分析常用于资产组合管理和风险管理。
通过将各种金融数据进行主成分分析,可以获得具有代表性的主成分,从而有效降低资产组合的维度,减少投资组合中的相关风险。
2. 生物学:主成分分析可以应用于基因表达数据的分析。
通过主成分分析,可以从大量的基因表达数据中提取出基因表达的主要变化趋势,帮助研究人员理解基因与表型之间的关系。
3. 社会科学:主成分分析可以用于社会调查数据的分析。
通过对调查数据进行主成分分析,可以发现不同变量之间的相关性,进而揭示不同因素对于社会问题的影响程度。
三、主成分分析的步骤主成分分析的步骤通常包括以下几个步骤:1. 数据标准化:对原始数据进行标准化处理,将不同量级的变量转化为标准差为1的变量。
这一步骤是为了消除变量间的量纲差异。
2. 计算协方差矩阵:根据标准化后的数据计算协方差矩阵,用于度量变量之间的相关性。
主成分分析法的步骤和原理
1.数据标准化:针对原始数据集,对每个变量进行标准化处理,使得
每个变量的均值为0,方差为1、这样做的目的是确保每个变量都具有相
同的重要性。
2.计算协方差矩阵:协方差矩阵是一个对称的矩阵,它描述了变量之
间的线性关系。
通过计算原始数据的协方差矩阵,可以得到变量之间的相
关程度。
3.计算特征值和特征向量:对协方差矩阵进行特征值分解,得到特征
值和特征向量。
特征值表示了每个主成分所解释的方差的大小,而特征向
量表示了每个主成分的方向。
4.选择主成分:根据特征值的大小,选择解释方差较大的前k个主成分,通常只选取特征值大于1的主成分。
这些主成分可以解释原始数据中
大部分的方差。
5.构建特征向量矩阵:将选取的k个特征向量按照特征值从大到小的
顺序排列,构成一个特征向量矩阵。
6.数据转换:将原始数据与特征向量矩阵相乘,得到降维后的数据集。
每个样本由k个主成分组成,而不再包含原始数据中的所有变量。
主成分分析的原理是基于最大方差的思想。
在原始数据中,方差较大
的变量携带了较多的信息,而方差较小的变量携带了较少的信息。
主成分
分析的目标是将原始数据投影到方差较大的方向上,以便在保留较多信息
的同时降低数据的维度。
通过特征值分解协方差矩阵,可以得到原始数据的主成分。
特征向量代表了每个主成分的方向,而特征值则表示了每个主成分所解释的方差大小。
通常,选择特征值较大的前几个主成分,可以达到保留较多信息的目的。
同时,主成分之间是正交的,即它们之间没有相关性,这样可以进一步减少数据冗余。
一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标XI, X2,…,XP (比如p个指标),重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标X1,X2,…,XP (比如p 个指标),重新组合成一组较少个数的互不相关的综合指标Fm 来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp 所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
主成分分析完整版一、主成分分析的原理1.标准化数据:先对原始数据进行标准化处理,以确保不同变量的尺度一致。
2.计算协方差矩阵:对标准化后的数据计算协方差矩阵,矩阵中的元素表示不同变量之间的相关性。
3.计算特征值和特征向量:对协方差矩阵进行特征值分解,得到特征值和对应的特征向量。
4.选择主成分:按照特征值的大小选择最重要的k个特征值和它们对应的特征向量,称之为主成分。
5.数据转换:将原始数据投影到选取的主成分上,得到降维后的数据。
二、主成分分析的方法1.方差解释比:主成分分析通过特征值展示了每个主成分的重要性。
方差解释比是计算每个主成分的方差所占总方差的比例。
选择解释总方差的比例较高的主成分,可以保留更多的信息。
2.累计方差解释比:累计方差解释比是计算前n个主成分的方差解释比之和。
通过选择累计方差解释比较高的主成分,可以保留更多的原始数据信息。
3.维度选择:主成分分析可以通过选择合适的主成分数来实现数据降维。
通过观察特征值的大小和累计方差解释比,可以选择合适的主成分数。
三、主成分分析的应用1.数据可视化:主成分分析可以将高维度的数据转换为低维度的数据,从而方便可视化。
通过在二维或三维空间中绘制主成分,可以更好地理解数据的分布和关系。
2.特征提取:主成分分析可以提取数据中的最重要特征,从而减少数据维度并保留主要信息。
特征提取可以在分类、聚类等问题中提高算法的效果。
3.数据压缩:主成分分析可以将高维度的数据压缩为低维度的数据,从而节省存储空间和计算时间。
压缩后的数据可以用于后续分析和处理。
4.噪音过滤:主成分分析通过保留数据中最重要的特征,可以减少噪音的影响。
通过滤波后的数据可以提高实验测量的准确性和稳定性。
综上所述,主成分分析是一种强大的数据降维技术,可以在许多领域中应用。
熟悉主成分分析的原理、方法和应用,对于理解数据和提升数据分析的能力具有重要意义。
主成分分析法主成分分析(Principal Component Analysis,简称PCA)是一种常用的降维方法,它通过线性变换将高维数据转换为低维数据,从而提取出数据的最主要特征。
本文将详细介绍主成分分析的原理、应用以及算法流程。
一、原理主成分分析是一种基于统计学的数据降维方法。
其基本思想是将原始数据通过线性变换,得到一组新的不相关变量,即主成分,用来代替原始变量。
这些主成分在不同维度上的方差依次递减,即第一主成分包含最多的原始变量信息,第二主成分包含不重叠的信息量,以此类推。
主成分分析的目标是最大化原始数据的方差,从而保留尽可能多的信息。
首先,通过计算协方差矩阵来评估各个变量之间的相关性,然后通过特征值分解找出协方差矩阵的特征向量,即主成分。
最后,根据特征值的大小来选择保留的主成分个数。
二、应用主成分分析广泛应用于数据预处理、特征提取和数据可视化等领域。
以下是主成分分析的几个典型应用:1. 数据降维:主成分分析可以将高维数据转换为低维数据,从而减少计算量和存储空间,并提高模型的计算效率。
2. 特征提取:主成分分析可以将原始数据中高度相关的特征转换为互不相关的主成分,保留了原始数据的主要信息。
这样可以提高模型的训练速度和泛化能力。
3. 图像压缩:主成分分析可以将图像的冗余信息去除,从而实现图像的压缩和存储。
通过保留图像中的主要特征,可以在减少存储空间的同时保持图像的质量。
4. 数据可视化:主成分分析可以将高维数据映射到二维空间,从而实现数据的可视化。
通过显示主成分的分布,可以更好地理解数据之间的关系,并发现数据中的模式和异常。
三、算法流程主成分分析的算法流程如下:1. 数据标准化:将原始数据进行标准化处理,使得每个变量具有相同的尺度,从而避免变量之间的差异对主成分的影响。
2. 计算协方差矩阵:根据标准化后的数据计算协方差矩阵,该矩阵表示各个变量之间的相关性。
3. 特征值分解:对协方差矩阵进行特征值分解,得到特征值和特征向量。
一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
二、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标X1,X2,…,XP(比如p个指标),重新组合成一组较少个数的互不相关的综合指标Fm来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
(完整版)主成分分析法的原理应⽤及计算步骤..⼀、概述在处理信息时,当两个变量之间有⼀定相关关系时,可以解释为这两个变量反映此课题的信息有⼀定的重叠,例如,⾼校科研状况评价中的⽴项课题数与项⽬经费、经费⽀出等之间会存在较⾼的相关性;学⽣综合评价研究中的专业基础课成绩与专业课成绩、获奖学⾦次数等之间也会存在较⾼的相关性。
⽽变量之间信息的⾼度重叠和⾼度相关会给统计⽅法的应⽤带来许多障碍。
为了解决这些问题,最简单和最直接的解决⽅案是削减变量的个数,但这必然⼜会导致信息丢失和信息不完整等问题的产⽣。
为此,⼈们希望探索⼀种更为有效的解决⽅法,它既能⼤⼤减少参与数据建模的变量个数,同时也不会造成信息的⼤量丢失。
主成分分析正式这样⼀种能够有效降低变量维数,并已得到⼴泛应⽤的分析⽅法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少⼏个综合指标,通常综合指标(主成分)有以下⼏个特点:↓主成分个数远远少于原有变量的个数原有变量综合成少数⼏个因⼦之后,因⼦将可以替代原有变量参与数据建模,这将⼤⼤减少分析过程中的计算⼯作量。
↓主成分能够反映原有变量的绝⼤部分信息因⼦并不是原有变量的简单取舍,⽽是原有变量重组后的结果,因此不会造成原有变量信息的⼤量丢失,并能够代表原有变量的绝⼤部分信息。
↓主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因⼦参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应⽤带来的诸多问题。
↓主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数⼏个因⼦,如何使因⼦具有⼀定的命名解释性的多元统计分析⽅法。
⼆、基本原理主成分分析是数学上对数据降维的⼀种⽅法。
其基本思想是设法将原来众多的具有⼀定相关性的指标X1,X2,…,XP (⽐如p 个指标),重新组合成⼀组较少个数的互不相关的综合指标Fm 来代替原来指标。
那么综合指标应该如何去提取,使其既能最⼤程度的反映原变量Xp 所代表的信息,⼜能保证新指标之间保持相互⽆关(信息不重叠)。
主成分分析的实验原理
主成分分析(Principal Component Analysis,PCA)是一种常
用的数据降维和特征提取方法,通过线性变换将原始数据转化为新的一组无关变量,称为主成分,以便于分析和解释数据的结构和关系。
PCA的实验原理基于以下假设和步骤:
1. 假设数据集包含d个变量和n个样本,构成一个d×n的数据矩阵X。
2. 对数据进行归一化处理,即对每个变量进行均值中心化处理,使得每个变量的平均值为0。
3. 计算数据矩阵X的协方差矩阵C,其中C的(i,j)元素表示第
i个变量和第j个变量之间的协方差。
4. 对协方差矩阵C进行特征值分解,得到特征值和特征向量。
特征值表示对应的特征向量所代表的方向上的方差,特征向量表示数据在该方向上的投影。
5. 选择特征值较大的前k个特征向量作为主成分,通常选择的依据是特征值的大小或者保留的方差占总方差的比例。
6. 将原始数据投影到选定的k个主成分上,得到降维后的数据矩阵Y,其中Y的维度为k×n。
7. 可选地,对降维后的数据进行可视化和进一步分析。
通过主成分分析,可以实现以下目标:
1. 提取数据中的主要特征,降低数据的维度,从而减少计算和存储的成本。
2. 去除数据中的噪声和冗余信息,提高数据的表达能力和泛化能力。
3. 揭示数据中的隐含结构和关系,帮助理解和解释数据。
4. 在数据可视化和聚类分析等任务中提供更好的表达和解释能力。
综上所述,主成分分析是一种基于线性变换和协方差分析的数据降维和特征提取方法,通过选择主要特征和投影数据到主成分上实现数据的简化和分析。
主成分分析相关数据主成分分析(Principal Component Analysis,简称PCA)是一种常用的数据降维方法,在统计学和机器学习领域有着广泛的应用。
本文将从基本原理、计算步骤、应用场景和优缺点等方面介绍主成分分析。
一、基本原理主成分分析的目标是通过线性变换将原始数据映射到一个新的坐标系中,使得数据在新的坐标系中的方差最大化。
通过选择新坐标系的方向,可以将原始数据的维度从高维度空间降低到低维度空间,并尽可能保留原始数据的信息。
二、计算步骤主成分分析的计算步骤如下:1. 将原始数据进行标准化处理,使得各个维度的均值为0,方差为1。
2. 计算协方差矩阵,该矩阵反映了不同维度之间的相关性。
协方差矩阵的特征值和特征向量描述了原始数据在新坐标系中的方差和主成分方向。
3. 对协方差矩阵进行特征值分解,得到特征值和特征向量。
4. 选择前k个特征值对应的特征向量作为新坐标系的基,其中k是希望降低的维度数量。
5. 将原始数据投影到新的坐标系上,得到降维后的数据。
三、应用场景主成分分析在各个领域都有广泛的应用,例如:1. 数据可视化:通过将高维数据降低到二维或三维空间,可以方便地进行数据可视化和探索。
在数据可视化中,主成分分析常用于降低特征数量,保留较多的信息同时减少维度。
2. 图像处理:主成分分析可以用于图像压缩和去噪。
通过对图像进行主成分分析,可以减少图像的冗余信息,实现图像压缩,并且能有效去除图像中的噪声。
3. 金融领域:在金融数据分析中,主成分分析可以帮助发现不同金融指标之间的关联性,并用较少的主成分来表示整个数据集的信息。
这对于风险管理、投资组合优化等都具有重要的意义。
4. 生物学领域:在基因表达数据分析中,主成分分析可以帮助发现不同基因之间的相关性,并从大量基因中提取出少数几个主成分,简化数据的分析和解释,进而深入研究基因的功能和机制。
四、优缺点主成分分析的优点包括:1. 降低维度:主成分分析可以将高维数据降低到低维度,减少数据的复杂性和计算成本。
浅析主成分分析法及案例分析主成分分析的原理:主成分分析的目标是找到一组线性变量,它们能够最大程度地解释原始数据中的变化。
第一个主成分与数据具有最大的差异,而随后的主成分则与第一个主成分正交(即无相关性),并且在特征解释方面具有最大的差异。
主成分是对原始数据的线性组合,其中具有最大方差的成分被称为第一个主成分,次大方差的成分被称为第二个主成分,依此类推。
主成分分析的步骤:1.标准化数据:如果原始数据的变量具有不同的单位和尺度,我们需要对数据进行标准化,以确保每个变量对主成分的贡献是公平的。
2.计算协方差矩阵:协方差矩阵显示了原始数据中变量之间的相关性。
它可以通过计算每个变量之间的协方差来得到。
3.计算特征向量和特征值:通过对协方差矩阵进行特征分解,我们可以得到一组特征向量和特征值。
特征向量表示主成分的方向,而特征值表示每个主成分的解释方差。
4.选择主成分:根据特征值的大小,我们可以选择前k个主成分作为降维后的新变量,其中k是我们希望保留的维度。
这样就可以将原始数据投影到所选的主成分上。
主成分分析的案例分析:假设我们有一份包含多个变量的数据集,例如身高、体重、年龄和收入。
我们希望通过主成分分析来降低数据的维度,以便更好地理解数据集。
首先,我们需要标准化数据,以确保每个变量具有相同的权重。
接下来,我们计算协方差矩阵,得到变量之间的相关性。
然后,我们进行特征值分解,得到一组特征向量和特征值。
通过观察特征值的大小,我们可以选择前几个主成分,例如前两个主成分。
最后,我们将原始数据集投影到选定的主成分上,得到降维后的数据集。
这样,我们可以用两个主成分来表示原始数据集的大部分变异,并且可以更容易地分析数据集中的模式和关系。
总结:通过主成分分析,我们可以将高维度的数据转换为更低维度的数据,从而更好地理解和分析数据集。
它可以帮助我们发现数据中的隐藏模式和关系,提取出对数据变异具有最大贡献的特征。
在实际应用中,主成分分析常用于数据降维、数据可视化、特征选择等领域。
一、概述在处理信息时,当两个变量之间有一定相关关系时,可以解释为这两个变量反映此课题的信息有一定的重叠,例如,高校科研状况评价中的立项课题数与项目经费、经费支出等之间会存在较高的相关性;学生综合评价研究中的专业基础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。
而变量之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。
为了解决这些问题,最简单和最直接的解决方案是削减变量的个数,但这必然又会导致信息丢失和信息不完整等问题的产生。
为此,人们希望探索一种更为有效的解决方法,它既能大大减少参与数据建模的变量个数,同时也不会造成信息的大量丢失。
主成分分析正式这样一种能够有效降低变量维数,并已得到广泛应用的分析方法。
主成分分析以最少的信息丢失为前提,将众多的原有变量综合成较少几个综合指标,通常综合指标(主成分)有以下几个特点:主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后,因子将可以替代原有变量参与数据建模,这将大大减少分析过程中的计算工作量。
主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍,而是原有变量重组后的结果,因此不会造成原有变量信息的大量丢失,并能够代表原有变量的绝大部分信息。
主成分之间应该互不相关通过主成分分析得出的新的综合指标(主成分)之间互不相关,因子参与数据建模能够有效地解决变量信息重叠、多重共线性等给分析应用带来的诸多问题。
主成分具有命名解释性总之,主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成少数几个因子,如何使因子具有一定的命名解释性的多元统计分析方法。
、基本原理主成分分析是数学上对数据降维的一种方法。
其基本思想是设法将原来众多的具有一定相关性的指标X1, X2,…,XP (比如p个指标),重新组合成一组较少个数的互不相关的综合指标 Fm来代替原来指标。
那么综合指标应该如何去提取,使其既能最大程度的反映原变量 Xp所代表的信息,又能保证新指标之间保持相互无关(信息不重叠)。
(一)主成分分析法的基本思想主成分分析(Principal Component Analysis )是利用降维的思想,将多个变量转化为少数几个综合变量(即主成分),其中每个主成分都是原始变量的线性组合,各主成分之间互不相关,从而这些主成分能够反映始变量的绝大部分信息,且所含的信息互不重叠。
[2]采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点,引进多方面的财务指标,但又将复杂因素归结为几个主成分,使得复杂问题得以简化,同时得到更为科学、准确的财务信息。
(二)主成分分析法代数模型假设用p 个变量来描述研究对象,分别用X 1,X 2…X p 来表示,这p 个变量构成的p 维随机向量为X=(X 1,X 2…X p )t 。
设随机向量X 的均值为μ,协方差矩阵为Σ。
对X 进行线性变化,考虑原始变量的线性组合: Z 1=μ11X 1+μ12X 2+…μ1p X pZ 2=μ21X 1+μ22X 2+…μ2p X p…… …… ……Z p =μp1X 1+μp2X 2+…μpp X p主成分是不相关的线性组合Z 1,Z 2……Z p ,并且Z 1是X 1,X 2…X p 的线性组合中方差最大者,Z 2是与Z 1不相关的线性组合中方差最大者,…,Z p 是与Z 1,Z 2 ……Z p-1都不相关的线性组合中方差最大者。
(三)主成分分析法基本步骤第一步:设估计样本数为n ,选取的财务指标数为p ,则由估计样本的原始数据可得矩阵X=(x ij )m ×p ,其中x ij 表示第i 家上市公司的第j 项财务指标数据。
第二步:为了消除各项财务指标之间在量纲化和数量级上的差别,对指标数据进行标准化,得到标准化矩阵(系统自动生成)。
第三步:根据标准化数据矩阵建立协方差矩阵R ,是反映标准化后的数据之间相关关系密切程度的统计指标,值越大,说明有必要对数据进行主成分分析。
其中,R ij (i ,j=1,2,…,p )为原始变量X i 与X j 的相关系数。
(一)主成分分析法的基本思想
主成分分析(Principal Component Analysis )是利用降维的思想,将多个变量转化为少数几个综合变量(即主成分),其中每个主成分都是原始变量的线性组合,各主成分之间互不相关,从而这些主成分能够反映始变量的绝大部分信息,且所含的信息互不重叠。
[2]
采用这种方法可以克服单一的财务指标不能真实反映公司的财务情况的缺点,引进多方面的财务指标,但又将复杂因素归结为几个主成分,使得复杂问题得以简化,同时得到更为科学、准确的财务信息。
(二)主成分分析法代数模型
假设用p 个变量来描述研究对象,分别用X 1,X 2…X p 来表示,这p 个变量构成的p 维随机向量为X=(X 1,X 2…X p )t 。
设随机向量X 的均值为μ,协方差矩阵为Σ。
对X 进行线性变化,考虑原始变量的线性组合: Z 1=μ11X 1+μ12X 2+…μ1p X p
Z 2=μ21X 1+μ22X 2+…μ2p X p
…… …… ……
Z p =μp1X 1+μp2X 2+…μpp X p
主成分是不相关的线性组合Z 1,Z 2……Z p ,并且Z 1是X 1,X 2…X p 的线性组合中方差最大者,Z 2是与Z 1不相关的线性组合中方差最大者,…,Z p 是与Z 1,Z 2 ……Z p-1都不相关的线性组合中方差最大者。
(三)主成分分析法基本步骤
第一步:设估计样本数为n ,选取的财务指标数为p ,则由估计样本的原始数据可得矩阵X=(x ij )m ×p ,其中x ij 表示第i 家上市公司的第j 项财务指标数据。
第二步:为了消除各项财务指标之间在量纲化和数量级上的差别,对指标数据进行标准化,得到标准化矩阵(系统自动生成)。
第三步:根据标准化数据矩阵建立协方差矩阵R ,是反映标准化后的数据之间相关关系密切程度的统计指标,值越大,说明有必要对数据进行主成分分析。
其中,R ij (i ,j=1,2,…,p )为原始变量X i 与X j 的相关系数。
R 为实对称矩阵
(即R ij =R ji ),只需计算其上三角元素或下三角元素即可,其计算公式为:
2211)()()
()(j kj n
k i kj j kj n k i kj ij X X X X X X X X R -=--=-=∑∑ 第四步:根据协方差矩阵R 求出特征值、主成分贡献率和累计方差贡献率,确定主成分个数。
解特征方程0=-R E λ,求出特征值λi (i=1,2,…,p )。
因为R 是正定矩阵,所以其特征值λi 都为正数,将其按大小顺序排列,即λ1≥λ2≥…≥λi ≥0。
特征值是各主成分的方差,它的大小反映了各个主成分的影响力。
主成分Z i 的贡献率W i =∑=p
j j j 1λλ,累计贡献率为
∑∑==p
j j m j j 11λλ。
根据选取主成分个数的原则,特征值要求大于1且累计贡献率达80%-95%的特征值λ1,λ2,…,λm 所对应的1,2,…,m (m ≤p ),其中整数m 即为主成分的个数。
第五步:建立初始因子载荷矩阵,解释主成分。
因子载荷量是主成分Z i 与原始指标X i 的相关系数R (Z i ,X i ),揭示了主成分与各财务比率之间的相关程度,
利用它可较好地解释主成分的经济意义。
第六步:计算企业财务综合评分函数F m ,计算出上市公司的综合值,并进行降序排列:
F m =W 1Z 1 + W 2Z 2+…+ W i Z i
[2] 朱星宇,陈勇强.SPSS 多元统计分析方法及应用[M].北京:清华大学出版社,2011.241。