主成分分析法实例

1、主成分法：
用主成分法寻找公共因子的方法如下：
假定从相关阵出发求解主成分，设有p 个变量，则可找出p 个主成分。

将所得的p 个主成分按由大到小的顺序排列，记为1Y ，2Y ，…，P Y ， 则主成分与原始变量之间存在如下关系：
11111221221122221122....................p p p p p
p p pp p Y X X X Y X X X Y X X X
γγγγγγγγγ=+++⎧⎪
=+++⎪⎨⎪
⎪=+++⎩ 式中，ij γ为随机向量X 的相关矩阵的特征值所对应的特征向量的分量，因为特征向量之间彼此正交，从X 到Y 得转换关系是可逆的，很容易得出由Y 到
X 得转换关系为：
11112121212122221122....................p p p p p
p p pp p X Y Y Y X Y Y Y X Y Y Y
γγγγγγγγγ=+++⎧⎪
=+++⎪⎨⎪
⎪=+++⎩ 对上面每一等式只保留钱m 个主成分而把后面的部分用i ε代替，则上式变为：
111121211
2121222221122.................
...m m m m p p p mp m p X Y Y Y X Y Y Y X Y Y Y γγγεγγγεγγγε=++++⎧⎪=++++⎪⎨⎪⎪=++++⎩
上式在形式上已经与因子模型相一致，且i Y （i=1,2，…，m ）之间相互独立，且i Y 与i ε之间相互独立，为了把i Y 转化成合适的公因子，现在要做的工作只是把主成分i Y 变为方差为1的变量。

为完成此变换，必须将i Y 除以其标准差，由主成
分分析的知识知其标准差即为特征根的平方根
/i i F Y =
，
12m ，则式子变为：
1111122112211222221122....................m m m m p p p pm m p X a F a F a F X a F a F a F X a F a F a F εεε=++++⎧⎪=++++⎪⎨⎪
⎪=++++⎩
这与因子模型完全一致，这样，就得到了载荷A 矩阵和 初始公因子(未旋转)。

一般设A ∧
为样本相关矩阵R 的特征根，12,,...,p γγγ为对应的标准正交化特征向量。

设m<p,则因子载荷矩阵A 的一个解为：
A ∧
=(12m )
共同度的估计为：
2
2
2
2
12...i i i im h a a a ∧∧∧∧=+++
下面用主成分法分析以下数据：
步骤：
第一步，把Excel 中的数据导入到SPSS 中：File →Open →Data ； 第二步，数据标准化：Analyze →Descriptive Statistics →Descriptives 如图：
第三步，检验数据：如图：
得到结果如下：
Sig小于0.05，所以该数据可用；
第四步,用主成分法分析数据：Analyze→Dimension Reduction→Factor 如图：
得到结果如下图：
Communalities
其中Communalities给出了该次分析从每个原始变量中提取的信息，表格下面注示表明，该次分析是用Factor analysis模块默认的信息提取方法即主成分分析完成的。

可以看到除100元工业总产值实现利税，100元销售收入实现利税和全员劳动生产率以外，主成分几乎包括了各个原始变量至少80%的信息。

由输出结果看到，前面2个主成分y1，y2的方差和占全部方差的比例为84.7%.我们就选取1y 为第一主成分，2y 为第二主成分，且这两个主成分之方差和占全部方差的84.7%，即基本上保留了原来指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。

由上表得到两个主成分，12,y y 的线性组合为：
11234567890.2130.1140.0720.1550.0650.1860.1980.1480.172y x x x x x x x x x *********
=++--++++2123456789
0.1530.1560.2560.5670.4060.080.1280.050.051y x x x x x x x x x *********=-++++--+-
2、主轴因子法：
假定m 个公因子只能解释原始变量的部分方差，利用公因子方差（或共同度）来代替相关矩阵对角线上的元素1，并以新得到的这个矩阵为出发点，对其分别求解特征根与特征向量并得到因子解。

在因子模型中，不难得到如下关于X 的相关矩阵R 的关系式：
12,,...,m γγγ***
式中，A 为因子载荷矩阵；ε∑为一对角阵，其对角元素为相应特殊因子的方差。

则称R R AA ε*'=-∑=为调整相关矩阵，显然R *的主对角元素不再是1，而是共同度2i h 。

分别求解R *的特征值与标准正交特征向量，进而求出因子载荷矩阵A 。

此时，R *有m 个正的特征值。

设12...m λλλ***≥≥≥为R *的特征根，12,,...,m γγγ***
为
对应的标准正交化特征向量。

m<p ，则因子载荷矩阵A 的一个主轴因子解为：
A ∧
=12m ***
）
用轴因子法分析上述数据：Analyze →Dimension Reduction →Factor 如图：
只需在这步把Methoct 选择为Principal axis factoring （主轴因子法），其他的方法与主成分法一致。

得到的结果如下图:
其中Communalities给出了该次分析从每个原始变量中提取的信息，表格下面注示表明，该次分析是用Factor analysis模块默认的信息提取方法即主成分分析完成的。

可以看到除100元销售收入实现利税和全员劳动生产率以外，主成分几乎包括了各个原始变量至少80%的信息。

由输出结果看到，前面2个主成分y1,y2的方差和占全部方差的比例为84.7%.我们就选取y1为第一主成分，y2为第二主成分，且这两个主成分之方差和占全部方差的84.7%，即基本上保留了原来指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。

3、极大似然法：
如果假定公因子F 和特殊因子ε服从正态分布，则能够得到因子载荷和特殊因子方差的极大似然估计。

设12,,...,p X X X 为来自正态总体(),N μ∑的随机样本，其中AA ε'∑=+∑。

从似然函数的理论知：
()()
()()()()
111/2()/2
/2
1
,2n j j j tr x x x x n x x n np L e
μμμπ-=⎡⎤
''-∑∑--+--⎢⎥
⎣⎦
∑=
∑
它通过∑依赖于A 和ε∑。

但上式并不能唯一确定A ，为此，添加如下条件：
1
A A ε-'∑=Λ
这里，Λ是一个对角阵，用数值极大化的方法可以得到极大似然估计ˆA 和ˆε∑。

极大似然估计ˆA ，ˆε∑和ˆX μ=,将使ˆA '1ˆε
-∑ˆA 为对角阵，且使上式达到最大化。

用极大似然法分析上述数据：Analyze→Dimension Reduction→Factor
如图：
只需在这步把Methoct选择为Maximum likelihood(极大似然法)，其他的方法与主成分法一致。

其中Communalities给出了该次分析从每个原始变量中提取的信息，表格下面注示表明，该次分析是用Factor analysis模块默认的信息提取方法即主成分分析完成的。

可以看到除100元工业总产值实现利税，100元销售收入实现利税和
我们就选取y1为第一主成分，y2为第二主成分，且这两个主成分之方差和占全部
方差的81.8%，即基本上保留了原来指标的信息，这样由原来的9个指标转化为2个新指标，起到了降维的作用。

由上表得到前2个主成分,y1,y2的线性组合为：
11234567890.9090.10.0590.0220.0030.0190.0150.0050.013y x x x x x x x x x *********
=+---++++212345679
0.12430.6250.9690.0740.0140.0150.0180.008y x x x x x x x x ********=-++++---
最后，由Communalities （共同度）可得，主成分法和极大似然法除100
元工业总产值实现利税，100元销售收入实现利税和全员劳动生产率以外，主成分几乎包括了各个原始变量至少80%的信息；而主轴因子法只是除100元销售收入实现利税和全员劳动生产率以外，主成分几乎包括了各个原始变量至少80%的信息。

由解释的总方差可得，主成分法和主轴因子法的两个主成分之方差和占全部方差的84.7%，而极大似然法两个主成分之方差和占全部方差的81.8%，都起到了降维的作用。

由因子得分系数矩阵可得，主成分法和极大似然法得到的线性组合有些不同，而主轴因子法没有因子得分系数矩阵即没有线性组合。