因子分析数学模型说课材料

一、因子分析1 因子分析的基本思想1.1 因子分析的基本出发点将原始指标综合成较少的指标，这些指标能够反映原始指标的绝大部分信息（方差），这些综合指标之间没有相关性。

1.2 因子变量的特点（1）这些综合指标称为因子变量，是原变量的重造；（2）个数远远少于原变量个数，但可反映原变量的绝大部分方差； （3）不相关性； （4）可命名解释性。

2 因子分析的基本步骤（1）确认待分析的原始变量是否适合作因子分析； （2）构造因子变量；（3）利用旋转方法使因子变量具有可解释性； （4）计算每个样本的因子变量得分。

3 因子分析的数学模型数学模型（x i 为标准化的原始变量；F i 为因子变量；k<p ）111112213311221122223322331132233333112233..................k k k k k k p p p p pk k px a f a f a f a f x a f a f a f a f x a f a f a f a f x a f a f a f a f εεεε⎧=+++++⎪=+++++⎪⎪=+++++⎨⎪⎪=+++++⎪⎩ 也可以矩阵的形式表示为：X=AF+εF ：因子变量； A ：因子载荷阵； a ij ：因子载荷；ε：特殊因子。

4 因子分析的相关概念（1）因子载荷在因子变量不相关的条件下，a ij 就是第i 个原始变量与第j 个因子变量的相关系数。

a ij 绝对值越大，则X i 与F i 的关系越强。

（2）变量的共同度(Communality)也称公共方差。

X i 的变量共同度为因子载荷矩阵A 中第i 行元素的平方和。

221kiij j h a ==∑可见：X i 的共同度反应了全部因子变量对X i 总方差的解释能力。

（3）因子变量F j 的方差贡献因子变量F j 的方差贡献为因子载荷矩阵A 中第j 列各元素的平方和21pj ij i S a ==∑可见：因子变量F j 的方差贡献体现了同一因子Fj 对原始所有变量总方差的解释能力，S j /p 表示了第j 个因子解释原所有变量总方差的比例。

第六讲因⼦分析第五讲因⼦分析在许多实际问题中，涉及的变量众多，各变量间还存在错综复杂的相关关系，这时最好能从中提取少数综合变量，这些综合变量彼此不相关，⽽且包含原变量提供的⼤部分信息。

因⼦分析就是为解决这⼀问题提供的统计分析⽅法。

以后，如⽆特别说明，都假定总体是⼀个p维变量：它的均值向量，协⽅差矩阵V=(ij)pp都存在。

第⼀节正交因⼦模型1．1 公共因⼦与特殊因⼦从总体中提取的综合变量：F1, F2, … , F m(m于是，我们有：变量X i的信息＝公共因⼦可以表达部分公共因⼦不可表达部分这就是所谓因⼦模型。

⽬前，公共因⼦可以表达的部分由公共因⼦的线性组合表⽰。

即上⾯的因⼦模型可以写成以下的形式：1．2 正交因⼦模型设总体，均值向量，协⽅差矩阵。

因⼦模型有形式：其中m如果引⼊以下向量与矩阵：则因⼦模型的矩阵形式为：对于正交的因⼦模型，还要进⼀步要求：z1. 。

即有：公共因⼦是互相不相关的。

z2. 。

即：特殊因⼦和公共因⼦不相关。

1．3 因⼦载荷矩阵1．矩阵A称为因⼦载荷矩阵(component matrix)，系数a ij称为变量X i在因⼦F j上的载荷(loading)。

由于特别，如果总体是标准化的，则有Var(X i)=1，从⽽有：于是：即变量X i在公共因⼦F j上的载荷a ij就是X i与F j的相关系数。

2．载荷矩阵的估计：主成分法。

主成分法是估计载荷矩阵的⼀种⽅法，由于其估计结果和变量的主成分仅相差⼀个常数倍，因此就冠以主成分法的名称。

在学到这⾥的时候，不要和主成分分析混为⼀谈。

主成分法是SPSS系统默认的⽅法，在⼀般情况下，这是⽐较好的⽅法。

以数据“应征⼈员”为例，按特征值⼤于1提取公共因⼦。

在⽤不同⽅法获得因⼦载荷时，公共因⼦对总体⽅差的贡献率以主成分法为最⾼：⽅法贡献率 %Principle components 81.476Maximum likelihood74.304Unweighted least squares74.485Principal axis factoring74.462Alpha factoring74.540Image factoring69.365关于主成分法的内容可参看任何⼀本多元统计分析书，例如：《应⽤多元统计分析》，⾼惠璇著，北京⼤学出版社，p301。

因子分析数学模型一、引言因子分析是一种强大的统计方法，用于从一组变量中提取出潜在的公共因子。

这种方法在许多领域都有广泛的应用，包括社会科学、心理学、经济学和生物学等。

它的主要目标是减少数据集的维度，同时保留原始数据中的重要信息。

这种方法有助于解释变量之间的关系，揭示隐藏在数据中的结构。

本文将详细介绍因子分析的数学模型及其实现过程。

二、因子分析数学模型1、公共因子模型因子分析的公共因子模型可以表示为：X = AF + ε其中，X是观测数据矩阵，A是因子载荷矩阵，F是公共因子矩阵，ε是特殊因子矩阵。

这个模型的意思是，观测数据X可以由公共因子F和特殊因子ε加权组合而成。

公共因子代表了所有观测变量之间的共性，而特殊因子则代表了每个观测变量的独特性。

2、因子载荷矩阵因子载荷矩阵A描述了每个观测变量与公共因子之间的关系。

矩阵中的每个元素aij表示第i个观测变量在第j个公共因子上的载荷。

通过求解因子载荷矩阵，我们可以找出公共因子对观测变量的影响程度。

3、旋转矩阵在因子分析中，旋转矩阵是一种重要的工具，用于优化公共因子的解释。

旋转矩阵可以使得公共因子的解释更加直观和有意义。

常见的旋转方法包括方差最大旋转（varimax）和正交旋转（quartimax）等。

三、实现过程1、确定公共因子的数量在开始因子分析之前，我们需要确定公共因子的数量。

常见的确定公共因子数量的方法有基于特征值的方法、基于解释方差的方法以及基于碎石图的方法等。

2、求解因子载荷矩阵在确定了公共因子的数量后，我们需要求解因子载荷矩阵。

常用的求解方法有基于主成分分析的方法、基于最大似然估计的方法以及基于最小二乘法的方法等。

3、旋转因子载荷矩阵通过旋转因子载荷矩阵，我们可以优化公共因子的解释。

常见的旋转方法包括方差最大旋转和正交旋转等。

旋转后的因子载荷矩阵可以帮助我们更好地理解公共因子与观测变量之间的关系。

4、解释公共因子我们需要对提取的公共因子进行解释。

第三十六课 因子分析因子分析（Factor Analysis ）是主成分分析的推广，它也是从研究相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量归结为少数几个综合因子的一种多变量统计分析方法。

具体地说，就是要找出某个问题中可直接测量的、具有一定相关性的诸指标，如何受少数几个在专业中有意义，又不可直接测量到，且相对对立的因子支配的规律，从而可用诸指标的测定来间接确定诸因子的状态。

一、 何为因子分析因子分析的目的是用有限个不可观察的潜在变量来解释原变量间的相关性或协方差关系。

在这里我们把不可观察的潜在变量称为公共因子（common factor ）。

在研究样品时，每个样品需要检测很多指标，假设测得p 个指标，但是这p 个指标可能受到m (m <p )个共同因素的影响，再加上其他对这些指标有影响的因素。

写成数学的形式就是：⎪⎪⎩⎪⎪⎨⎧++++=++++=++++=pm pm p p p m m m m e f a f a f a X e f a f a f a X e f a f a f a X ΛΛΛΛΛ2211222221212112121111 (36.1)利用矩阵记号有111⨯⨯⨯⨯+=p m m P p e f A X(36.2)各个指标变量都受到i f 的影响，因此i f 称为公共因子，A 称为因子载荷矩阵，i e 是单变量i X 所特有的因子，称为i X 的特殊因子（unique factor ）。

设1f ，2f ，…，m f 分别是均值为0，方差为1的随机变量，即m I f D =)(；特殊因子1e ，2e ，…，p e 分别是均值为0，方差为21d ，22d ，…，2p d 的随机变量，即D d d d e D p ==),,,diag()(22221Λ；各特殊因子之间及特殊因子与公共因子之间都是相互独立的，即j i e e Cov j i ≠=,0),(及0),(=f e Cov 。