主成分分析与因子分析的异同比较及应用
- 格式：pdf
- 大小：299.12 KB
- 文档页数：4
;/;=;01 G;I4/>01B48 LCH<C/4/= ! # % + & " , MC=01 &) !"O !) %O) &"! ) %#" ) #", ) !+O ,) +-"G 5 $# &) +O&G 5 $# N CD E0:;0/94 "+) "$O !,) +,+ ,) $!+ +) $," %) %+% !) -"! ) O%" ) "-, LBHB10=;>4 N "+) "$O -#) $-% -O) $O, O%) !,+ O") &!, O-) %,, OO) %!% !$$) $$$ G*=:09=;C/ ’BH8 CD ’JB0:47 KC07;/I8 MC=01 &) !"O !) %O) &"! ) %#" ) #", ) !+O ,) +-"G 5 $# &) +O&G 5 $# N CD E0:;0/94 "+) "$O !,) +,+ ,) $!+ +) $," %) %+% !) -"! ) O%" ) "-, LBHB10=;>4N "+) "$O -#) $-% -O) $O, O%) !,+ O") &!, O-) %,, OO) %!% !$$) $$$
主成分分析是研究如何通过少数几个主成分来 解释多变量的方差 ) 协方差结构的分析方法，也就是 求出少数几个主成分，使它们尽可能多地保留原始变 量的信息，且彼此不相关。因子分析是研究如何以最 少的信息丢失，将众多原始变量浓缩成少数几个因子 变量，以及如何使因子变量具有较强的可解释性的一 种多元统计分析方法。这两种方法是处理多变量、大 样本时经常采用的方法，其二者的最终目的都是降 维，而且在处理方法上，许多参考文献上都强调因子 分析法是主成分方法的扩展，也就是因子分析的基础 是主成分方法，所以对初学者来说，这两种方法在 使用时很可能会用混 ’ 本文将对两者的异同进行比 较。
53 73!1! 73#1# 8 ・・・ 8 73313
每个主成分都是由原有 3 个变量线性组合得到 ’ 矩阵 9 满足 9: 9 6 ! 的条件， 在诸多主成分 54 中， 5! 在 总方差中占的比重最大，说明它综合原有变量 1! ’ 1#’ 其余主成分 5# ’ 5%， 2 2 2’ 13 的能力最强， 2 2 2’ 53 在总方差 中占的比重依次递减，说明越往后的主成分综合原信 息的能力越弱。以后的分析可以用前面几个方差最大 的主成分 5 来进行，一般情况下，要求前几个 54 * 4 ;3 . 所包含的信息不少于原始信息的 /&0 ， 这样既减少了 变量的数目，又能够用较少的主成分反映原有变量的 绝大部分信息。如利用主成分来消除多元回归方程的 多重共线性，利用主成分来筛选多元线性回归方程中 的变量等。 通过因子分析得来的新变量是对每一个原始变
・!"・
统计教育
#$$% 年第 & 期
因子方差发生了变化。
从输出窗口，我们可以取得每个主成分的方差，即特征 根，它的大小表示了对应主成分能够描述原来所有信息的多 少（ 更多情况下是由方差贡献率来反映 ） 。一般来讲， 为了达
四、 实证分析
下面以全国 #$$$ 年城镇消费支出资料为例从降维的角 度、 输出的结果及分析来比较两种方 ’(’’!$) $ 操作的方法、
余的变量，我们要清楚地认识到，对通过主成分分析 所得来的新变量是原始变量的线性组合，如原始变量 为 1! ’ 1# ’ 2 2 2’ 1 3’ 经过坐标变换， 将原有的 3 个相关变 转换成另一组不相关的变量 54’ 我们 量 14 作线性变换， 可 以 得 到 一 组 表 达 式 (
5! 6 7!!1! 8 7!#1# 8 ・・・ 8 7!313
・!"・
统计教育
#$$% 年第 & 期
主成分分析与因子分析 的异同比较及应用
!王 芳
（ 南京经济学院 经济与统计学院 ’ 江苏 南京 #!$$$% ）
摘要( 主成分分析法和因子分析法都是从变量的方差 ) 协方差结构入手， 在尽可能多地保留原始信 息的基础上， 用少数新变量来解释原始变量的多元统计分析方法。教学实践中 ’ 发现学生运用主成分分 析法和因子分析法处理降维问题的认识不够清楚， 本文针对性地从主成分分析法、 因子分析法的基本思 想、 使用方法及统计量的分析等多角度进行比较， 并辅以实例。 关键词( 主成分分析 < 因子分析 < 比较 < 应用 中图分类号： =/! 文献标识码： > 文章编号： !$$& ) &,-# （ #$$% ） $& ) $$$!" ) $"
的分类， 也可用于综合评价。 （ 有关统计量的取得。有关因子载荷的一些统计量在 !） 如变量与公共因子的相关系数， ,-,, 输出窗口可直接得到， 实际上为所求得的因子载荷量， 变量共同度 （ 反映每个变量 对所提取的公共因子的依赖程度的统计量 ） 可由输出窗口 中的 “ 实际此数值是 961H6@3@: 96110M?:NL 中直接显示出来， 因子载荷矩阵中每一行的因子载荷量的平方和，提取的因 子个数不同， 变量共同度也不同。另外， 公因子的方差 （ 反映 每个公共因子与所有变量的相关程度的统计量 ） 可由 =>O 实际此数值是因 :489:?6@ ,015 67 ,P0843B Q68B?@R5 直接读出。 子载荷矩阵中每一列的因子载荷量的平方和。我们求得的 因子变量如果含义不明显， 实用价值也不大， 所以为了能更
作者简介 ( 王芳 * !+,- ) . ， 女 ’ 讲师， 主要从事多元统计分析的教学与研究
总第 !" 期
理论探讨
・#!・
量进行内部剖析， 打比喻来说， 原始变量就如成千上万的糕
这七种方法中只有用主成分分析法求解因子载荷时可以选
点， 每一种糕点的原料都有面粉、 油、 糖及相应的不同原料， 择与变量个数相等的因子变量个数 （ ，其 /012345 67 789:645） 这其中， 面粉、 油、 糖是所有糕点的共同材料， 正如因子分析 中的新变量即因子变量 $ 正确选择因子变量后， 如果想考虑 成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公 共因子的物价变动即可。所以因子分析不是对原始变量的 重新组合， 而是对原始变量进行分解， 分解为公共因子与特 殊因子两部分。即因子分析就是要利用少数几个公共因子 去解释较多个要观测变量中存在的复杂关系，它把原始变 量分解为两部分因素，一部分是由所有变量共同具有的少 数几个公共因子构成的，另一部分是每个原始变量独自具 有的因素， 即特殊因子。 对新产生的主成分变量及因子变量计算其得分，就可 以将主成分得分或因子得分代替原始变量进行下一步的分 析， 因为主成分变量及因子变量比原始变量少了许多， 所以 起到了降维的作用， 为我们处理数据降低了难度。 它方法都必须因子变量个数小于原始变量个数。而且在计 算的过程中不能像主成分分析法那样一次计算因子载荷成 功，如主因子法，往往需要经过多次尝试，才能得到因子载 荷矩阵。 （ C ）模型的生成。经过 &’()*+ 过程都产生因子载荷 阵，但主成分分析模型需要的不是因子载荷量而是特征向 量，所以还需将因子载荷量输入数据编辑窗口，利用 “ 主成 分相应特征根的平方根与特征向量乘积为因子载荷量 ” 的 性质用 )+’/,&*+D* (*D-E)= 来计算特征向量，从而才 能得到主成分的线性表达式。而因子分析直接采用因子载 荷量即可得到因子模型。 （ 计算得分的方法。主成分得分是根据表达式将标准 F） 化后的相应数据代入得到的，因子得分的计算在 ,-,, 中提 供了三种方法：一是回归法，先对公共因子 7 与变量 ># $ >.$ 建立回归方程，而后将变量数值代入回归方 G G G$ >H 作回归， 程，求得因子得分；二是巴特莱特法，由于因子模型 >1 I 这部分极难观测， 但可通过 3 的协 ’& J 3 中， 3 为特殊因子， 方差矩阵转化为单位矩阵，从而求得因子得分 &；三是安德 森 K 鲁宾法，这种方法是为了保证因子的正交性而对巴特 莱特因子得分的调整， 其因子得分的均值为 % 方差为 # 。在 ,-,, 的 &’()*+ 过程中，因子分析只需简单地选择对话框 中 “ ,(*+=” 进 行 操 作 ， 而 主 成 分 分 析 中 计 算 得 分 需 在 “ 两种得分应用的 :48@57641* 961H0:3L 输入主成分的表达式。 方向也不太一致，主成分得分一般用来对研究现象进行综 合评价、 排序及筛选变量， 而因子得分多用于对样本及变量
三、&’()*+ 过程的异同比较
主成分分析与因子分析都可利用 ,-,, 中的 &’()*+ 过程 来实现， 在 &’()*+ 中如果全部采用默认状态 （ 或仅改变提 取公因子个数一项 ） ，则进行的是主成分分析，在使用此过 程时应注意以下几点： （ 指标的选定。指标最好有同趋势化， 一般为了评价 #） 分析的方便， 需要将逆指标转化为正指标， 转化的方式为用 逆指标的倒数值代替原指标。 （ 因子变量个数的确定。利用 &’()*+ 实现主成分分 .） 析时， 在确定公共因子个数 （ 时， 一般直 /012345 67 &89:645） 接选择与原变量数目相等的个数，这样可以避免由于采用 默认形式后累计方差贡献率达不到 ;!< 而造成的二次操
主成分分析是研究如何通过少数几个主成分来 解释多变量的方差 ) 协方差结构的分析方法，也就是 求出少数几个主成分，使它们尽可能多地保留原始变 量的信息，且彼此不相关。因子分析是研究如何以最 少的信息丢失，将众多原始变量浓缩成少数几个因子 变量，以及如何使因子变量具有较强的可解释性的一 种多元统计分析方法。这两种方法是处理多变量、大 样本时经常采用的方法，其二者的最终目的都是降 维，而且在处理方法上，许多参考文献上都强调因子 分析法是主成分方法的扩展，也就是因子分析的基础 是主成分方法，所以对初学者来说，这两种方法在 使用时很可能会用混 ’ 本文将对两者的异同进行比 较。
53 73!1! 73#1# 8 ・・・ 8 73313
每个主成分都是由原有 3 个变量线性组合得到 ’ 矩阵 9 满足 9: 9 6 ! 的条件， 在诸多主成分 54 中， 5! 在 总方差中占的比重最大，说明它综合原有变量 1! ’ 1#’ 其余主成分 5# ’ 5%， 2 2 2’ 13 的能力最强， 2 2 2’ 53 在总方差 中占的比重依次递减，说明越往后的主成分综合原信 息的能力越弱。以后的分析可以用前面几个方差最大 的主成分 5 来进行，一般情况下，要求前几个 54 * 4 ;3 . 所包含的信息不少于原始信息的 /&0 ， 这样既减少了 变量的数目，又能够用较少的主成分反映原有变量的 绝大部分信息。如利用主成分来消除多元回归方程的 多重共线性，利用主成分来筛选多元线性回归方程中 的变量等。 通过因子分析得来的新变量是对每一个原始变
・!"・
统计教育
#$$% 年第 & 期
因子方差发生了变化。
从输出窗口，我们可以取得每个主成分的方差，即特征 根，它的大小表示了对应主成分能够描述原来所有信息的多 少（ 更多情况下是由方差贡献率来反映 ） 。一般来讲， 为了达
四、 实证分析
下面以全国 #$$$ 年城镇消费支出资料为例从降维的角 度、 输出的结果及分析来比较两种方 ’(’’!$) $ 操作的方法、
余的变量，我们要清楚地认识到，对通过主成分分析 所得来的新变量是原始变量的线性组合，如原始变量 为 1! ’ 1# ’ 2 2 2’ 1 3’ 经过坐标变换， 将原有的 3 个相关变 转换成另一组不相关的变量 54’ 我们 量 14 作线性变换， 可 以 得 到 一 组 表 达 式 (
5! 6 7!!1! 8 7!#1# 8 ・・・ 8 7!313
・!"・
统计教育
#$$% 年第 & 期
主成分分析与因子分析 的异同比较及应用
!王 芳
（ 南京经济学院 经济与统计学院 ’ 江苏 南京 #!$$$% ）
摘要( 主成分分析法和因子分析法都是从变量的方差 ) 协方差结构入手， 在尽可能多地保留原始信 息的基础上， 用少数新变量来解释原始变量的多元统计分析方法。教学实践中 ’ 发现学生运用主成分分 析法和因子分析法处理降维问题的认识不够清楚， 本文针对性地从主成分分析法、 因子分析法的基本思 想、 使用方法及统计量的分析等多角度进行比较， 并辅以实例。 关键词( 主成分分析 < 因子分析 < 比较 < 应用 中图分类号： =/! 文献标识码： > 文章编号： !$$& ) &,-# （ #$$% ） $& ) $$$!" ) $"
的分类， 也可用于综合评价。 （ 有关统计量的取得。有关因子载荷的一些统计量在 !） 如变量与公共因子的相关系数， ,-,, 输出窗口可直接得到， 实际上为所求得的因子载荷量， 变量共同度 （ 反映每个变量 对所提取的公共因子的依赖程度的统计量 ） 可由输出窗口 中的 “ 实际此数值是 961H6@3@: 96110M?:NL 中直接显示出来， 因子载荷矩阵中每一行的因子载荷量的平方和，提取的因 子个数不同， 变量共同度也不同。另外， 公因子的方差 （ 反映 每个公共因子与所有变量的相关程度的统计量 ） 可由 =>O 实际此数值是因 :489:?6@ ,015 67 ,P0843B Q68B?@R5 直接读出。 子载荷矩阵中每一列的因子载荷量的平方和。我们求得的 因子变量如果含义不明显， 实用价值也不大， 所以为了能更
作者简介 ( 王芳 * !+,- ) . ， 女 ’ 讲师， 主要从事多元统计分析的教学与研究
总第 !" 期
理论探讨
・#!・
量进行内部剖析， 打比喻来说， 原始变量就如成千上万的糕
这七种方法中只有用主成分分析法求解因子载荷时可以选
点， 每一种糕点的原料都有面粉、 油、 糖及相应的不同原料， 择与变量个数相等的因子变量个数 （ ，其 /012345 67 789:645） 这其中， 面粉、 油、 糖是所有糕点的共同材料， 正如因子分析 中的新变量即因子变量 $ 正确选择因子变量后， 如果想考虑 成千上万糕点的物价变动，只需重点考虑面粉、油、糖等公 共因子的物价变动即可。所以因子分析不是对原始变量的 重新组合， 而是对原始变量进行分解， 分解为公共因子与特 殊因子两部分。即因子分析就是要利用少数几个公共因子 去解释较多个要观测变量中存在的复杂关系，它把原始变 量分解为两部分因素，一部分是由所有变量共同具有的少 数几个公共因子构成的，另一部分是每个原始变量独自具 有的因素， 即特殊因子。 对新产生的主成分变量及因子变量计算其得分，就可 以将主成分得分或因子得分代替原始变量进行下一步的分 析， 因为主成分变量及因子变量比原始变量少了许多， 所以 起到了降维的作用， 为我们处理数据降低了难度。 它方法都必须因子变量个数小于原始变量个数。而且在计 算的过程中不能像主成分分析法那样一次计算因子载荷成 功，如主因子法，往往需要经过多次尝试，才能得到因子载 荷矩阵。 （ C ）模型的生成。经过 &’()*+ 过程都产生因子载荷 阵，但主成分分析模型需要的不是因子载荷量而是特征向 量，所以还需将因子载荷量输入数据编辑窗口，利用 “ 主成 分相应特征根的平方根与特征向量乘积为因子载荷量 ” 的 性质用 )+’/,&*+D* (*D-E)= 来计算特征向量，从而才 能得到主成分的线性表达式。而因子分析直接采用因子载 荷量即可得到因子模型。 （ 计算得分的方法。主成分得分是根据表达式将标准 F） 化后的相应数据代入得到的，因子得分的计算在 ,-,, 中提 供了三种方法：一是回归法，先对公共因子 7 与变量 ># $ >.$ 建立回归方程，而后将变量数值代入回归方 G G G$ >H 作回归， 程，求得因子得分；二是巴特莱特法，由于因子模型 >1 I 这部分极难观测， 但可通过 3 的协 ’& J 3 中， 3 为特殊因子， 方差矩阵转化为单位矩阵，从而求得因子得分 &；三是安德 森 K 鲁宾法，这种方法是为了保证因子的正交性而对巴特 莱特因子得分的调整， 其因子得分的均值为 % 方差为 # 。在 ,-,, 的 &’()*+ 过程中，因子分析只需简单地选择对话框 中 “ ,(*+=” 进 行 操 作 ， 而 主 成 分 分 析 中 计 算 得 分 需 在 “ 两种得分应用的 :48@57641* 961H0:3L 输入主成分的表达式。 方向也不太一致，主成分得分一般用来对研究现象进行综 合评价、 排序及筛选变量， 而因子得分多用于对样本及变量
三、&’()*+ 过程的异同比较
主成分分析与因子分析都可利用 ,-,, 中的 &’()*+ 过程 来实现， 在 &’()*+ 中如果全部采用默认状态 （ 或仅改变提 取公因子个数一项 ） ，则进行的是主成分分析，在使用此过 程时应注意以下几点： （ 指标的选定。指标最好有同趋势化， 一般为了评价 #） 分析的方便， 需要将逆指标转化为正指标， 转化的方式为用 逆指标的倒数值代替原指标。 （ 因子变量个数的确定。利用 &’()*+ 实现主成分分 .） 析时， 在确定公共因子个数 （ 时， 一般直 /012345 67 &89:645） 接选择与原变量数目相等的个数，这样可以避免由于采用 默认形式后累计方差贡献率达不到 ;!< 而造成的二次操
