多元统计分析之因子分析70页PPT

同时假定随机向量 X 满足以下模型： X 1 a11F1 a12 F2 a1m Fm 1 X a F a F a F 2 12 1 22 2 2m m 2 X p a p1 F1 a p 2 F2 a pm Fm P 则称模型(3.1)为正交因子模型。
设 X ( X1 , X 2 ,
E( F ) 0 ， Cov( F ) I m （即 F 的各分量方差为 1，且互不相关） 。又设 (1, 2 , , p ) 与 F 互不相关，且
2 E ( ) 0 ， Cov( ) diag(12 ,2 , 2 , p )。
之因子分析
SPSS软件
• 因子分析（Factor Analysis）是多元统计 分析中处理降维问题的一种重要方法。变 量的共线性很多是都对分析结果具有显著 的影响。所谓降维，就是独钓共线性，剩 下的，或者合并的都是线性无关的，或者 正交的，或者垂直的。
一、什么是主成分分析和因子分析？
• 主成分分析（Principal Components Analysis）也是多元统计分析中简化数据 结构（降维问题）的一种重要方法。简化 数据结构是指将某些较复杂的数据结构通 过变量变换等方法使相互依赖的变量变成 互不相关的；或把高维空间的数据投影到 低维空间，使问题得到简化而损失的信息 市的实证 设施建设情况。
案例1
• 中国统计年鉴，2005，各地区城市市政设施数据。 变量有： • City—城市名称； • X1—年末实有道路长度（公里）； • X2—年末实有道路面积（万平方公里）； • X3—城市桥梁（座）； • X4—城市排水管道长度（公里）； • X5—城市污水日处理能力（万立方米）； • X6—城市路灯（盏）；

数据预处理和清洗
1
数据清洗
解决缺失值、异常值和重复数据问题。
2
标准化处理
对数据进行标准化、归一化和正态化处理。
3
变量选择
学习如何选择影响结果的重要变量。
描述性统计分析
1 中心趋势分析
运用平均值、中位数和众数等指标揭示数据的集中情况。
2 离散程度分析
探索数据的离散程度，如标准差和方差。
3 分布形态分析
识别数据分布的形态，如正态分布和偏态分布。
相关分析
线性相关
学习如何评估变量之间的 线性关系。
非线性相关
探索变量之间的非线性关 系，如曲线和曲面拟合。
相关系数
了解相关系数的计算方法 及其解释。
统计显著性检验
1
假设检验
学习如何根据样本数据推断总体参数。
2
置信区间
了解如何估计总体参数的范围。
3
显著性水平
确定显著性水平及其对推断的影响。
回归分析
线性回归
构建线性回归模型来预测因变量。
回归诊断
评估回归模型用。
多元方差分析
单因素设计
比较多个组之间的差异。
多重比较
确定组之间的具体差异。
二因素设计
考虑两个自变量对因变量的 影响。
《多元统计分析》PPT课件
探索多元统计分析的定义、概念和应用。从数据预处理到分析模型选择，帮 助解决实际问题。了解多元统计软件和未来发展方向。
数据结构和类型
结构
探索多元数据的各种结 构，包括矩阵、向量和 表格。
类型
了解多元数据的分类， 如连续型、离散型、定 类型和定序型。
示例
使用实际案例来展示多 元数据的结构和类型。

.
.
.
.. .
X5
0.63 0.49 0.19 0.29 1.00
.
.
.. .
X6
0.40 0.52 0.36 0.46 0.34 1.00
.
.. .
X7
0.28 0.31 0.73 0.27 0.17 0.32 1.00
.. .
X8
0.20 0.36 0.24 0.39 0.23 0.33 0.24 1.00 . .
用这m个不可观测的相互独立的公因 子 F1， F2， ，Fm (也称潜因子)和一
个特殊 i来描述原始可测的相关变量
(科目成绩) x1 , x2 , , x p , 并解释分析学 生的学习能力.
11
教育测量中的项目反应理论模型：
Pj ( ) exp aj ( bj ) 1 exp aj ( bj )
2 1
,
,
2 p
)
(特 殊 因 子 间 不 相 关)
cov(F , ) 0(公 共 因 子 与 特 殊 因 子 间不 相 关)
19
其中：
x x1 x2 x p 是 可 观 测 的 随 机 向 量 ，
F (F1 F2 Fm )(m p)是 不 可 观 测 的 随 机 向 量 ，F1 F2 Fm 一 般 对x 每 一 个 分 量xi 都 有 作 用 ， 所 以 称 为x 的公 共 因 子， 而
24
二、正交因子模型中各个量的统计意义 1. 因子载荷的统计意义 2. 变量共同度的统计意义 3. 公因子Fi的方差贡献的统计意义
25
1. 因子载荷的统计意义
若
var(
x
i
)
1,
则x

因子分析
Factor Analysis
回顾：主成分分析的任务
• 将彼此相关的指标变量转化为彼此不相关的指 标变量；
• 将个数较多的指标变量转化为个数较少的指标
变量。
• 将意义单一的指标变量转化为意义综合的指标
变量。
主成分分析的基本原理
寻找一个适当的线性变换： • 将彼此相关的变量转变为彼此不相关的新变量；
因子分析的基本思想
根据变量间相关性的大小把变量分组， 使得同组内的变量之间的相关性（共性） 较高，并用一个因子来代表这个组的变 量，而不同组的变量相关性较低（个 性）。
因子分析可分为两种：
探索性因子分析(exploratory factor analysis) 确定性因子分析(confirmatory factor analysis)
潜在因子之间的关系，具有有效的实际意义，
因此需要进行统计检验。
第二节 探索性因子分析的基本原理
【例1】表1给出了三个指标 之间的相关系数，其中， x 1 是孩子的数学成绩，x 2 是孩子的语文成绩，x 3 是 孩子的英语成绩。求影响 表1 指标的相关系数
或支配这三个成绩指标变
量的潜在因子。
令ξ是影响这三个成绩指标变量的潜在因子。
变量的可测性
可测变量(measured variable)：可以直接观察或测
量而得到的变量。 潜在变量(latent variable)：不能或不易直接观测得 到的变量。这种变量往往是根据某种理论假设的， 所以也称为理论变量(theoretical variable)。
例如，在企业形象或品牌形象的研究中，消 费者可以通过一个有24个指标构成的评价体 系，评价百货商场的24个方面的优劣。 但消费者主要关心的是三个方面，即商店的 环境、商店的服务和商品的价格。因子分析 方法可以通过24个变量，找出反映商店环境、 商店服务水平和商品价格的三个潜在的因子， 对商店进行综合评价。

3. 公共因子的方差贡献:是某公共因子对所有原变量载荷的平方和, 它
反映该公共因子对所有原始总变异的解释能力，等于因子载荷矩阵中某 一列载荷的平方和。一个因子的方差贡献越大，说明该因子就越重要。
2024/6/2
15
★ 确定公因子数目的准则
1）因素的特征值（Eigenvalues）大于或等于1；
2）因素必须符合陡阶检验（Screen Test）,陡阶检
仅仅是为了化简、浓缩数据，则采用正交旋转（保持
直角90度，不允许公因子相关）。如果研究的目的是
为了得到理论上有意义的研究结果，则采用斜交旋转。
（不呈90度，允许公因子相关；有证据表明公因子之
间是相关的才用）
旋转之后，特征值发生变化，但共同度不变
2024/6/2
18
第六步：单击Scores按纽,弹出对话框
输出旋转后的 因子载荷矩阵
2024/6/2
输出载荷散点图17
★ 因子旋转
为了更好地解释因子分析解的结果，常常需要将
因子载荷转换为比较容易解释的形式（相当于相机的
调焦，使看得更清楚；一般会使各因子对应的载荷尽
可能地向0和1两极分化）。
常用的方法有正交旋转（varimax procedure）
和斜交旋转（oblique rotation），如果研究的目的
2024/6/2
1
二、因子分析思想与方法的由来
● 英国统计学家Scott 1961年对英国157个 城镇发展水平进行调查时，原始测量的变量有57 个，而通过因子分析发现，只需要用5个新的综 合变量（它们是原始变量的线性组合），就可以 解释95%的原始信息。
● 美国统计学家Stone在1947年研究国民经

6.2 因子载荷的求解
6.2.3 极大似然法
假定公共因子F和特殊因子ε服从正态分布,则能够得到因子载荷和特殊
因子方差的极大似然估计。设, , … , 为来自正态总体(, )的随
极
大
似
然
法
机样本,其中Σ=AA'+Σε。 从似然函数的理论知:
(, )=

()/ ||/
6.2.1 主成分法
由主成分法很容易得出由Y到X的转换Hale Waihona Puke 系为:主成分
法
1 = 11 1 + 12 2 + ⋯ + 1
2 = 21 1 + 22 2 + ⋯ + 2
⋮
3 = 1 1 + 2 2 + ⋯ +
对上面每一等式只保留前m个主成分而把后面的部分用代替，
式中,为标准化后的第i门科目的考试成绩,均值为0,方差为1;, , … , 是彼此独立的
公共因子,都满足均值为0,方差为1;为特殊因子,与每一个公共因子均不相关且均值为
0; ,,…,为对第i门科目考试成绩的因子载荷。对该模型,有
() = + + ⋯ + + () =
独立这个限制,因而可能达到更为简洁的形式,其实际意义也更容易解释。
6.2 因子载荷的求解
6.2.5 因子得分
在因子模型中,公共因子的个数少于原始变量的个数,且公共因子是不可观测的隐变量,
载荷矩阵A不可逆,因而不能直接求得公共因子用原始变量表示的精确线性组合。解
决该问题的一种方法是建立如下以公共因子为因变量、原始变量为自变量的回归方
6.2 因子载荷的求解

最新版整理ppt
32
最新版整理ppt
22
联系：因子分析数学模型的特殊因子方 差为0的时候，就形成特殊形式的因子分 析，即主成分分析。两种方法均可在 SPSS FOR WINDOWS的因子分析过程 FACTOR中实现，但用FACTOR过程实现 主成分分析时，产生的因子载荷矩阵表，
不能直接依据表的数据，写出各主成分
与原变量的线性组合，需对各主成分上
特殊因子ε,则指一个假设的抽象的变量， 它只能用来解释一个原始的变量，与其 它变量完全无关,各特殊因子之间以及特 殊因子与所有公共因子之间都是互相独 立的。它表示变量X不能被公共因子解释 的部分。
最新版整理ppt
9
因子载荷
模型中各公共因子的系数aij称为因子载 荷，是连接观测变量和公共因子之间的 纽带，其统计意义就是第i个变量与第j个 公共因子的相关系数，即表示变量xi依赖 公共因子Fj的分量，反映了第i个变量在 第j个公共因子上的相对重要性。|aij|≤1， aij的绝对值越大，表明xi与Fj的相依程度 越大。
最新版整理ppt
11
公共因子对原变量的贡献
因子载荷矩阵中各列元素的平方和，叫 做公共因子Fj对x的贡献，它反映每个公 共因子对数据的解释能力，是衡量公共 因子相对重要性的指标。此值越大，表 明公共因子Fj对x的影响和作用越大，计 算出所有的指标，按其大小排序，就可 以提炼出最有影响的公共因子。
最新版整理ppt
计算因子载荷阵可以从样本的协方差阵出发， 也可以从样本相关阵出发。
公共因子与变量个数一样多，且特殊因子方差 为0时，因子载荷阵的第j列应该是ej与相应特 征值平方根的乘积，而ej恰是第j个主成分的系 数，故而得名主成分法。
最新版整理ppt

•我们有时也用方差贡献率来衡量公共 因子的相对重要性
g j Fj的方差贡献率 p
2
j 1,2,, m
也是衡量公共因子相对重要性的另一指标。 另外，任意两个变量Xk与Xl的协方差等于 因子载荷阵中第k行与第l列对应元素乘积之和。
r ( X k , X l ) ak1al1 ak 2 al 2 ... akmalm akiali
第七章 因子分析
• • • • • • • 第一节 因子分析的概念 第二节 因子分析的数学模型 第三节 因子载荷矩阵的求解 第四节 因子旋转 第五节 因子得分 第六节 实例分析 推荐阅读
第一节 因子分析的概念
• 因子分析是主成分分析的推广和发展，它是多 元统计分析中降维的一种方法。因子分析是研究 相关阵或协方差阵的内部依赖关系，它将多个变 量综合为少数几个因子，以再现原始变量与因子 之间的相关关系，同时根据不同因子还可以对变 量进行分类。 • 因子分析概念起源于20世纪初Karl Pearson 和 Charles Spearmen等学者为定义和测验智力所作 的统计分析。目前因子分析在心理学、社会学、 教育学、经济学等学科都取得了成功的应用。
2、因子载荷阵的统计意义与性质
• 为了便于对因子分析计算结果进行解释，将 因子分析模型中各个量的统计意义加以说明 是十分必要的。假设模型中各个变量以及公 共因子、特殊因子都已经是标准化（均值为0， 方差为1）的变量。
1）因子载荷aij的统计意义 已知模型
X i ai1F1 ai 2 F2 aimFm i , i 1,2,, p
第二节 因子分析的数学模型
• 1、正交因子模型 • 1）R型因子分析模型 • R型因子分析中的公共因子是不可直接观 测但又客观存在的共同影响因素，每一 个变量都可以表示成公共因子的线性函 数和特殊因子之和。即 X i ai1F1 ai 2 F2 aimFm i , i 1,2,, p

这些问题可以综合归纳为如下的几个方面： 申请者外露的能力，讨人喜欢的程度，申请 者的经验，专业能力。其中，每一方面都是 因子模型中的一个因子。
9
因子分析与主成分分析是多元分析中两种 重要的降维方法，但两者有很大的不同
主成分分析不能作为一个模型来描述，它只 能作为一般的变量变换，主成分可表示为 可观测的原始变量的线性组合。
1.因子分析FA：是研究众多原始变量间相关系数矩 阵或协方差矩阵的内部依赖关系，它是将众多个具有 错综复杂关系的变量归结为少数几个综合因子，以此 再现原始变量与综合（公共）因子之间的相关关系．
所以，因子分析侧重于探究多变量之间的相关性 的简化数据结构的方法。
4
例1. 为了了解学生的学习能力，观测了n个学生的p个 科目的成绩(分数)，用X1，…，Xp表示p个科目(例如 代数、几何、语文、英语、政治，…)，
定的。
这就是一个最简单的因子模型．
5
进一步地，可把这个简单因子模型推广到多个
因子的情况，即全体科目X所共有的因子有m
个，如数学推导因子、记忆因子、计算因子…
等．分别记为F1，…，Fm，即
Xi＝ai1F1十ai2F2十…十aimFm十εi
(i＝l，…，p)
用这m个不可观测的、相互独立的、公共因子 F1，…，Fm(也称为潜因子)和一个特殊因子εi 来描述原始可测变量(科目) X1，…，Xp，并 以此来解释分析学生的学习能力。
而因子分析需要构造一个因子模型，公因子 一般不能表示为原始变量的线性组合。
此外，在研究的侧重点上二者也有所差异， 在此不再赘述。
10
例5. 某公司对100名招聘人员的知识和能力进行测
试，出了50道题的试卷。其内容包括的面较广，但总 的来讲可归纳为如下六个方面：

谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特
多元统计分析之因子分析.
16、人民应该为法律而战斗，就像为 了城墙 而战斗 一样。 ——赫 拉克利 特 17、人类对于不公正的行为加以指责 ，并非 因为他 们愿意 做出这 种行为 ，而是 惟恐自 己会成 为这种 行为的 牺牲者 。—— 柏拉图 18、制定法律法令，就是为了不让强 者做什 么事都 横行霸 道。— —奥维 德 19、法律是社会的习惯和思想的结晶 。—— 托·伍·威尔逊 20、人们嘴上挂着的法律，其真实含 义是财 富。— —爱献 生
55、 为 中 华 之 崛起而 读书。 ——周 恩来
Hale Waihona Puke

1 mai2j
2 i
j1
所有的公共因子和特殊因子对变量
X
m
的贡献为1。如果 a
i
j 1
2 ij
非常
靠近1，
2 非常小，则因子分析的效果好，从原变量空间到公共因
i
子空间的转化性质好。
17
3、公共因子 F j方差贡献的统计意义
14
三、 因子载荷矩阵中的几个统计特征
1、因子载荷 aij 的统计意义
因子载荷 a ij 是第i个变量与第j个公共因子的相关系数
模型为 X i a i 1 F 1 a iF m m i
m
m
co X i,v F j)( coa v ik F k (i,F j)cov aik F (k,F j)coi,v F j)(
16
2、变量共同度的统计意义
定义：变量 X i 的共同度是因子载荷矩阵的第i行的元 素的平方和。记为 hi2 jm1ai2j。
统计意义：
X i a i 1 F 1 a iF m m i 两边求方差
V ( X i ) a a i 2 ( F m ) a V ( i ) r ar
多元统计分析因子分析
•
46、寓形宇内复几时，曷不委心任去 留。
•
47、采菊东篱下，悠然见南山。
•
48、啸傲东轩下，聊复得此生。
•
49、勤学如春起之苗，不见其增，日 有所长 。
•
50、环堵萧然，不蔽风日；短褐穿结 ，箪瓢 屡空， 晏如也 。
第四章 因子分析
2
第一节 因子分析的基本思想
3
因子分析的基本思想
12
12
D()
2 2
p2
即互不相关，方差不一定相等， i~N (0,i2)。

S = a j
n 2
i1 ij
（i=1,2,3，……k）
它所反映的是该因子对所有原始变量总方差的解释 能力，其值越大，说明该因子的重要性越高。
2020/4/24
21
三、因子分析的基本步骤
因子分析中需要解决两个问题：一是如何来构造 少量的并且能够尽可能的反映原有信息的因子；二 是如何对析取出的因子进行命名解释。 其基本步骤如下：
因子分析是通过研究多个变量间相关系数矩阵 （或协方差矩阵）的内部依赖关系，找出能综合所 有变量的少数几个综合指标，这几个综合指标是不 可测量的，但它更能反映事物的本质，通常称为因 子。各个因子间是独立的、互不相关，所有变量都 可以表示成公因子的线性组合。
2020/4/24
11
1.数学模型
设有N个样本，P个指标，X=(x1,x2,.....,.xp)T为随 机向量，要寻找公共因子为F=(F1,F2,.......,FM)T，则 子分析？
因子分析是将具有错综复杂关系的变量（或样本） 综合为少数几个因子，以再现原始变量和因子之间 的相互关系，探讨多个能够直接测量，并且具有一 定相关性的实测指标是如何受少数几个内在的独立 因子所支配，并且在条件许可时借此尝试对变量进 行分类。
2020/4/24
5
2.因子分析的基本思想
2020/4/24
28
方法二：巴特利特（Bartlett ）球形检验
该检验首先假设变量相关矩阵为单位阵（对角线 为1、非对角线为0），然后检验实际相关矩阵与此 差异性。如果差异性显著，则拒绝单位阵假设 ，即 认为原变量间的相关性显著 ，适合于作因子分析， 否则不能作因子分析。
2020/4/24
29
16
（2）累计贡献率：前 k个主成分的累计贡献率指按 照方差贡献率从大到小排列，前 k 个主成分累计提 取了多少的原始信息，即前面 k 个主成分累计提取 了x1，x2，…，xp多少的信息。 一般来说，如果前 k 个主成分的累计贡献率达到85%，表明前 k 个主成 分包含了全部测量指标所具有的主要信息，这样既 减少了变量的个数，又便于对实际问题的分析和研 究。