多元统计分析方法原理与应用
Multivariate Analysis
中国人民大学财金学院 戴稳胜
1
? 我们的研究工作是什么?
? 为什么需要量化研究及研究时注意的几点事 项
? 什么是多元统计分析（MVA)?
? 为什么我们需要它?
? 通常的分析技术
? MVA详细介绍及案例:
? 相关分析（Correspondence analysis） ? 回归/多元回归分析（Regression / Multiple
regression ? 主成份/因子分析（Factor analysis） ? 聚类分析（Cluster analysis/segmentation)
2
?…
研究工作是什么?
? 它只是 ？:
? 数据分析？ ? 现状描述？ ? 制作图表? ? 撰写报告?
? 提供解决方案
? 探索世界真相
特征
或 我们所 传送的 意识...
3
当我们进行分析时
? 有简单性的一面.....
? 例如：基本的分析（定性的描述、变量关联表）
? 另外也有复杂性的一面 ....
? 大量附加的分析 ? 运用许多的分析技术
? 然而我们需要看到“复杂性问题背后的简单 表述”
? 使复杂问题简单化
? 为了达到这一目的，你不得不研究复杂问题 然后去提炼出使人容易明白的信息
4
数据阐述
)一般认知不一定确实。 )真实的资料才能提供正确的信息。
?美國黑人 vs. 美國白人 之比例
?白人 認為 23.8% vs. 49.9% (average) ?人口調查局 (Census Bureau): 11.8% vs. 74%
?高校教师收入极高，成为个税监督的重点对 象
?公务员灰色收入很高，工资基本不用…
5
数据胜过了轶闻
)轶闻是那些令人印象深刻的事件，多数是些特例，可 能导致误导。研究资料才能提供正确的结论。
)电缆线与白血病
? 传闻：听说电缆线产生的电磁场会诱发白血病。 ? 研究：五百万美元历经五年的研究表明：
?暴露在电缆线产生的电磁场跟白血病根本没有关系[E. W. Campion, “Editorial: power lines, cancer and fear,” New England Journal of Medicine, 337, No. 1 (1997).]
? 传闻：手机磁场诱发脑部病变
?是真的吗？
6
统计：让数据说话 －－泰坦尼克号
1600
1400
1200
1000
800
600
400
200
0
S
D
生死人数
2000
1800
1600 1400 1200
1000
800 600 400
200
0
男性
女性
男女人数
2500
2000
1500
1000
500
0
成人
小孩
成人与孩子
1000 900 800 700 600 500 400 300 200 100
0 一等 二等 三等 船员
不同舱等
7
发生了什么？
一等舱 二等舱 三等舱 C舱
存活
203 118 178 219
死亡
122 167 528 673
总数 存活比
325 285 706 892 62.5 41.4 25.2 24.6
8
当天的情形如何？
男性 女性 总数
大人 小孩 总数
存活 374 死亡 1364 总数 1738
344 718 126 1490 470 2208
存活 661 死亡 1438 总数 2099
57 718 52 1490 109 2208
存活比 21.5 73.2 32.5 存活比 31.5 52.3 32.5
似乎真的是妇孺优先！
9
生存树状图（多元分类树）
10
统计的作用：处理变异描述变异
)数据不可能一成不变
?个体差异（比如身高、体重等） ?测量误差
)统计帮助我们处理变异 (variation)。
11
结论的不确定性(Uncertainty)
)今日降雨概率30% ...... )技术分析是否能帮助炒股？ )信用模型的应用，能否降低银行贷款坏帐概
率？
?风险降低率的95%置信区间为17%~34% 。 ?…
)统计给了人们一种以讨论并把握不确定性的语 言
12
量化研究流程
?业务理解
?数据采集与准备
?建模
?应用评估 数据
仓库
知识
发现 数据
挖掘
活动 采集
数据 处 理
信息 应 知识 用
数据管理价值链
商务 智能
决策
13
如果你不能量化某些事情，那么你 就不能理解它； 如果你不能理解它，那么你就不能 控制它； 如果你不能控制它，那么你就不能 改进它。
14
量化分析的几大目标及对应手段
? 把握概况－－探索性数据分析、OLAP ? 了解差异－－假设检验、方差分析 ? 分类、聚类－－判别、类神经网络、决策
树等 ? 了解相关－－相关、关联规则 ? 原因探索及目标控制－－回归、因子 ? 结构探索－－SEM、HLM、VAR、VECM ? 把握趋势－－时序分析
15
量化分析目标一——了解概况
? 数字化描述
? 均值、中位数、众数 ? 极差、方差、标准差、离散系数 ? 频数、频率
16
量化分析目标一——了解概况
? 多角度描述——OLAP
? 为什么要多角度？当心统计陷井
? 表面资料不一定可信 ? 品牌满意率例 ? 地区拥挤程度与无洗手间房屋比例间的相关
17
品牌满意率
? 比较两品牌的满意人数比例：
品牌A 品牌B
满意 3274 6438
不满意 不满意率 501 13.3% 787 10.9%
似乎品牌B的顾客比品牌A的顾客要满意些。
18
实际情况如何呢？
天津 上海 南京 广州 北京 合计
品牌A 满意 不满意
497
62
221
12
212
20
503
102
1841
305
3274
501
品牌B 满意 不满意
694 117
4840 415
383
65
320 129
201
61
6438 787
19
0.35
0.3
品牌A 品牌B
0.25
0.2 0.144
0.15 0.111 0.1
0.05
0.079 0.052
0.145 0.086
0 天津
上海
南京
0.287 0.169
广州
0.233 0.142
北京
几乎每个城市里，品牌B的不满意率都高于品 牌A！
20
地区拥挤与无洗手间房子比例间 的相关
? 研究英国哈尔(Hull)市各地区房屋状况， 发现数据显示各地区拥挤程度(x)与没有洗 手间的房子比例(y)间的相关系数很低 (0.08)，但按常理觉得应该比较高。
? 按地区内公寓比例的高低将地区分成两群 后，发现在各群内的相关系数极高(分别为 0.85及0.91)。
21
地区房屋状况研究
r ＝ 0.08
r = 0.85
r = 0.91
22
量化分析目标二：了解差异
? 假设检验：一因素两水平或两因素 ? 方差分析：一因素多水平或多因素至交叉
量化分析目标三：分类与聚类
? 比如客户区隔、市场细分 ? Logist回归、判别、聚类 ? 类神经网络、决策树
23
24
量化分析目标四：把握相关
? 相关系数：定类与定量数据的相关测量 ? 关联规则：实质是一些条件概率
25
问题：相关系数可靠吗？
? 某通信公司推出某项业务后，试图发现通话时长和人 数之间的关系。。。 ? Time：用户月通话时长 ? Count：该时长的人数
? 相关系数：-0.23 ? 没关系？
Correlations (Spreadsheet1)
Marked correlations are significant at p < .050
N=19 (Casewise deletion of missing data)
Time Count Variable
Time
1.00 -0.23
26
真相与结论：
? 真相是。。。 ? Time和Count是2次关系 ? 相关系数只能度量线性关系
Correlations (Spreadsheet1 10v*89c) Time
? 结论是。。。
? 该项业务对通话时长极端客
户吸引力很大，对普通客户
Count
不感冒
27
量化分析目标五：因素与目标
? 回归－－预测与控制 ? 因子分析 ? 计量：因果检验 ? 有关联未必有因果：
? 一致性研究 ? 因果时间序列 ? 剂量与反应：最好是实验设计
28
量化分析目标六：结构探索
? 结构方程模型SEM：顾客满意度指数模型 ? 多层线性模型HLM ? 经济结构：VAR，VECM
量化分析目标七：把握趋势
? 时间序列
29
30
什么是多元统计分析?
? 单一问题分析(univariate analysis) 例如频率 分布通常作为数据的第一步的描述分析
? 关联表(bivariate analysis) 总是作为主要的 分析手段而被市场研究者反复 使用
? 把一个问题或变量与另一个关联交叉作表 (例如对受访者背景变量：性别、年龄等)
? 无论哪个行业，包括金融业
? 如果同时分析的变量超过二个就被称为 多元统计分析
31
我们通常使用的多元分析技术…...
? 相关性分析 ? 多元回归 ? 主成分分析 ? 因子分析 ? 聚类分析/市场细分 ? 判别分析 ? etc. etc. etc.
32
多元统计分析技术
? 一个研究者可能不了解所有的分析技术细节 ? 但是他们应该能够正确地选择适当的方法 ? 使用多元技术，你不必知道详细的数学公式-但是你应
当明白它的原理 ? 多元分析并不是魔术棒，不需要我们开动脑筋就能解
决问题 - 它不会轻易告诉你答案
? 如果数据源很差，多元分析就很难发挥作用
33
多元统计方法的直观解释
? 多元统计方法的几个基本用途：
? 分类、判别、数据压缩和综合评价
? 分类对应于聚类分析 ? 判别——判别分析 ? 数据压缩——主成分 ? 综合评价——综合多种方法，但是主成分
用得比较多
34
预备知识：多元统计的数据矩阵
数学符号的表示和我们使用的软件上的数据表是一致的
P p个指标
? x11
X
=
? ? ?
x21 #
x12 x22
}" x1p ?
x2
p
? ?
% #?
??? xn1 xn2 " xnp ???
35
预备：多元统计数据的几何直观
? 把数据看作p维空间中的n个点 ? 可以运用空间中的投影、距离概念
36
预备：协方差阵covairance matrix
? 一组变量，可以计算两两之间的协方差 ? 排列成一个矩阵，就构成了这组随机变量
的协方差矩阵 ? 也可以把这组随机变量理解为一个随机向
量
37
预备：相关系数阵
? 一组变量，可以计算两两之间的相关系数 coefficient of correlation
? 排列成一个矩阵，就构成了这组随机变量 的相关系数矩阵
? 也可以把这组随机变量理解为一个随机向 量
38
预备：方差和数据携带的信息量
? 回忆方差分析 ? 回忆F-检验 ? 数据内部有变异，所以能够携带信息
? 这是一种判断，很难给出合理的量化
? 方差是一个不错的结果
预备：关于方差
? 每个变量的观测数据都可以计算一个方差 ? 整个数据集有一个总方差 ? 数据压缩之后可以得到变换之后的数据 ? 那么，所得到的数据的总方差和原始数据
的总方差有多大差异呢？
39
40
回归分析 Regression
回归分析是什么?
? 线性回归（Linear Regression）
? 画出因变量(dependent variable)和自变量 (independent variable)之间的关系
? 因变量 = B* 自变量+ 常数项 + 残差
41
42
回归分析是什么?
? 线性回归方程式：
? Y = C + bx + e ? Y = 产出(dependent variable /response variable) ? X = 输入变量(independent variable / regressor) ? c = 常量 (当x=0时) ? b = 斜率 ? e = 误差/残差（error / residual）
43
多元回归与一元线性回归一 样，只不过有更多的反应变量
Y = β0 + β1X1 + β2 X 2 +" + β p X p + ε
Y = Xβ +ε
E[Y ] = X β
数学原理略去
44
经典回归的假设
? 1、回归模型对参数而言是线性的；
? 2、各自变量X的值在重复抽样中是固定的；
? 3、对给定的X，随机干扰项ui的均值为零； ? 4、对给定的X，随机干扰项ui的方差不变； ? 5、对给定的X，随机干扰项ui无自相关； ? 6、回归模型是正确设定的；
? 7、随机干扰项ui是正态分布的。 ? 8、如果X是随机的，则干扰项与各X是独立的或
不相关；
? 9、观测次数必定大于自变量的个数；
? 10、自变量的取值必须有足够的变异性；
? 11、自变量之间无准确的线性关系，即无多重共
线性；
45
多元回归分析——操作
? 利用观测数据observation建立回归方程 ? 判断回归方程的显著性significance
? 整个方程的显著性 ? 个别变量的显著性
? 回归诊断——所得到的方程真的有意义？ ? 利用回归方程进行预测和控制
? 预测：给定自变量的取值，估计因变量的取值范围 ? 控制：希望因变量处于某个范围，寻找合适的自变量
取值
46
多元回归在计算中的可能问题
β? = ( X ′X ) ?1 X ′Y
? 这是对回归系数的估计公式 ? 有一个逆矩阵计算在其中，要求该逆矩阵存在 ? 在实际计算中，如果数据阵的变量之间存在高
度相关，则 X ′X 不一定可逆
47
多元回归分析——多重共线性
? 简单回归分析有时不可靠 ? 尤其在各个自变量之间存在很强相关性的
时候，计算结果很不稳定 ? 多项式回归 ? 主成分回归
48
回归分析意味着什么?
? 我们通常认为是独立变量在某些方面影响着 非独立变量
? 例如过度的吸烟会导致肺癌的发生
? 在市场/社会研究中，它通常表现出是“先有 鸡还是先有蛋的关系”:
? 你喜欢某件产品是因为它很时髦还是你认为因为 你喜欢它才觉得它她时髦?
? 你喜欢一个公司是因为它有好的服务？或者你认 为这个公司的服务很好只因为你喜欢这家公司 (或者公司其他方面的因素)
49
回归分析意味着什么?
? 考虑 Beta 得分将可能更有意义（通常是喜好 的排序值、边际影响力等）
? Beta值越大，喜好的波动越大或敏感性越大 （影响也越大）
? 在金融风险中衡量某特定资产风险与市场风 险的敏感性
50
回归分析假设...
? X1, X2, X3 独立的 - 没有很强的相关性 ? 如果它们强相关，我们称为多元共线性
? 市场研究数据通常都有很强的内部相关性
? 例如，如果你喜欢一个品牌，你也倾向于认为 它时髦、耐用、所有场合都适用、对小孩和成 年人都适合等等
? 背景资料通常也是相关的 -例如，年龄和收入、 收入和教育程度等.
? Multicollinearity 对我们来说是一个大问题
? 逐步回归法
? 主成份回归解决（见主成份分析补充内容） 51
逐步回归分析
52
多元线性回归建立的回归方程包含了
所有的自变量，但在实际问题中，可能有 这样的情况：参加回归方程的P个自变量 中，有些自变量单独看对因变量Y有作用 （相关程度密切），但P个自变量又可能是 相互影响的，在作回归时，它们对因变量 所起的作用有可能被其他自变量代替，而 使得这些自变量在回归方程中变得无足轻 重。这时把这些自变量留在回归方程中， 不但增加计算上的麻烦，而且不能保证有 好的回归效果。为了克服这些缺点，提出 了多元逐步回。
53
多元逐步回归要求回归方程中 包含所有对因变量作用显著的自变 量，而不包含作用不显著的自变 量，从而建立最优回归方程。
54
逐步筛选变量的方法：
1、强行进入法（Enter）:
预先选定的自变量全部进入回归模
型，这是系统默认方式。 2、消去法（Remove）:
根据设定的条件剔除部分自变量。
55
56
T检验： ∑ t
=
β?2 ? β2 se(β?2 )
=
(β?2
? β2)
σ?
(X ? X )2
~ t(n ? 2)
判定系数：
∑∑ R2 =
(Y? ? Y )2 = ESS (Y ? Y )2 TSS
=1?
RSS TSS
=1?
∑ (Y ∑ (Y
? Y?)2 ?Y )2
F检验：
1 = ESS + RSS = ∑ (Y? ? Y )2 + ∑ (Y ? Y?)2 TSS TSS ∑ (Y ? Y )2 ∑ (Y ? Y )2
F
=
∑
∑ (Y? ? Y )2 K
(Y ? Y?)2 (n ? K
?1)
57
3、向前引入法（Forward）: 自变量由少到多一个一个引入回归方 程，将与因变量的相关系数最大的第一 个自变量选入方程并进行检验，如果F值 >Fa ，拒绝H0 ；将其余的变量中与因变 量的相关系数最大的第二个自变量选入 方程，当F值>Fa ，拒绝H0 ；如此下 去，不断引入新的自变量，直到不能拒 绝H0，再没有变量被引入为止。
58
4、向后剔除法（Backward）: 自变量由多到少一个一个从回归
方程中剔除，首先，对预先选定自变 量全部进行回归，然后把对因变量影 响不显著的自变量从方程中剔除并进 行检验，如果F值
5、逐步引入—剔除法（Stepwise）: 向前引入法与向后剔除法的结合。
60
回归分析假设...
? 11个，但主要是iid～N(μ,σ)
? 残差正态分布，且方差为常数
? 金融数据绝大多数会违背这个规律 ? 因此才会发展出ARCH、GARCH、
EGARCH等模型 ? 这里不加详述，由金融市场计量经济学解
决
61
一般分析的套路
? 仔细观察数据 - 作出一些散布图去看一看相 关的形状
? 执行相关分析去寻找Multicollinearity 来帮助 你解释数据
? 记住，我们假设显著的Betas 是重要的 - 但是 他们只能与另一个我们无法测量的因子联系 在一起
62
应用案例：财政收入多元线性回归
? 数据：《中国统计年鉴》和《改革开放十 七年的中国地区经济》，时限：1978～1995
TY
X1
X2
X3
X4
年份 财政收入国民生产总税收（亿其他收入 社会从业人
（亿元）值（亿元）元） （亿元） 数（万人）
? 用上述数据建立多元线性回归模型并进行 各项检验
63
相关性与回归直线的局限性
?相关性与回归直线仅用来描 述两变量之间的线性关系， 且其数值受特殊点的影响极 大。
64
外推(Extrapolation)预测
? 以回归直线预测原解释变量所含范围之外的数 据 x 所对应的 y 值，其准确性多半不高。
? 以3~8岁孩童身高数据得到的回归直线，预测25 岁成人身高(预测值约为8呎高)必然不准确。
? 外推预测需小心运用，也可以发展新的回归方 法：
? 分段回归 ? 样条回归
65
使用平均数
? 用平均数数据(比如月平均煤气消耗量)评 估相关性时，其结果往往高于使用未平均 的数据(如每日煤气消耗量)所得相关性结 果。
? 基于平均数的相关性就用于个体时往往过高 ? 平均数数据已部分消除了未平均前数据的离散
情况。
66
有关联未必有因果
? 两变量关联程度高，未必表示“改变解释 变量的值，反应变量的值必然跟着改变”。
? 各国每人电视机数目与平均生活水平呈高度正 相关，即电视机数目多则平均生活水平高。但 送大量的电视机到卢旺达未必能改善其人民生 活水平。
? 电视机较多的国家通常较富裕，有较好的营养、 用水和医疗等生活水平也较高。
67
因果关系的探讨
? 在隐藏变量控制下，用实验来探讨解释变 量与反应变量的因果关系。
? 不同剂量的酒精对老鼠体温的影响试验
? 无法实验的情况，如吸烟是否引起肺癌、 被动吸烟是否引起肺癌、住变电所附近是 否易容引起血癌等，则需要更多的研究证 据来确认因果关系。
68
香烟的故事
? 吸烟与肺癌之关系的研究，无法进行人体 实验，因此使用多种方法来确立其因果关 系。
? 相关分析：吸烟与肺癌相关性很高。 ? 研究一致性：在许多国家对不同的人所做的研
究，都呈现吸烟与肺癌相关性很高。 ? 较高剂量和较强反应的关联：
? 每天吸烟较多或吸烟历史长的人得肺癌的比例高， 戒烟的人风险降低。
69
香烟的故事（续）
? 被怀疑的原因(cause)：在时间上出现了超前结果 (effect)：
? 死于肺癌的男性人数在吸烟人口普遍后上升，时间的差距 约30年。死于肺癌的女性人数也随着吸烟人口的增加而增 加，时间差距正好也是30年。
? 动物实验的结果表明，吸烟产生的焦油的确会致癌。
? 这些证据已足以证明其因果关系，但 其效力不 如一个设计良好的实验所提供的证据。
70
主成分分析 Principal Component
Analysis
71
因素 2 : 20.90%
变量的投影, 于因素平面上( x ) 1.0
0.5
XX56
X1 X7
0.0
XXX243
-0.5
X1X09 X8
-1.0
-1.0
-0.5
0.0
0.5
1.0
目前
因素 1 : 50.81%
72
因素 3 : 10.54%
变量的投影, 于因素平面上( x ) 1.0
0.5
X1X2
X9
0.0
X8
XX56 X43
X10
-0.5
X7 -1.0
-1.0
-0.5
0.0
0.5
1.0
目前
因素 1 : 50.81%
73
因子分析 Factor analysis
74
相关性分析 Correspondence
Analysis
75
聚类分析 Cluster Analysis
76
判别分析 discriminant
analysis
77
案例四：中小企业破产模型
X1
X2
X3
X4
总负债率 收益性指标 短期支付能力 生产效率性指
（现金收益/ （纯收入/总财 （流动资产/ 标（流动资产/
总负债）
产)
流动负债） 纯销售额）
17个破产企业（1类）和21个正常 运行企业（2类）进行调查的结果
问题：八家企业需要判别！
78
一般判别分析 General discriminant
analysis
79
为什么要用一般判别分析？
? 广义判别分析模块（一般DA）之所以成为一 般判别分析，是因为它在判别分析的问题中使 用了一般线性模型（GLM）的方法。
? 传统的判别分析往往适合于对属性因变量和连 续型预测变量建立线性判别函数。
? 在一般判别分析中，判别分析问题重新修改为 一种一般多元线性模型，这里因变量组通常是 （哑）编码向量，可以反映每个样品的组关系 －－所有的方差分析模型，其实都是一般线性 模型。
? 案例：波士顿房价。Price：房价；预测变量为 Cats和另12个定序变量。
80
分类树 Classification Tree
81
为什么提出
? 实际问题：根据已知信息确定事物分组 ? 判别、聚类等也解决这一问题，但都对数
据有要求 ? 分类树技术对数据无具体分布要求 ? 分类树就是通过某一条件筛选将样本不断
的分为两部分，直至根据一定的准则找到 最佳分类为止 ? 常用技术：CHAID，C4.5，C5.0 ? 例：同上例
82
多维标度分析 Multidimensional Scaling
83
可靠性与项目分析 Reliability and Item
Analysis
84
SEM应用案例：
某保险公司客户满意度研究
企业文化 整体形象
诚信
量化 工作 管理 氛围 受重视
社会 形象
0.55321
80.00 公司形象
对公司 重新选 0.15566 有信心 择公司
工继作续
程度
福薪
利酬 空发 间展
工作期望 75.00
- 0.03061 77.74
0.18339
0.55376
忠诚 80.63
管理 制度
薪酬 支业 持务
0.66772 71.21
工作感受
满意度
0.659226 总体满意
0.65787 相对其他公司
满意度
0.15484
65.35 抱怨
社会 形象 工作成 发展
就感 空间
工作 氛围
培训
抱怨
沟通
解决 85
最后 Final thoughts…..
86
多元统计分析不能替代 …..
? 好的简报
? 好的研究方案设计 ? 好的运作执行和质量控制 ? 你和你的研究小组清晰的思路 ? 你更好的理解普通人（非目标研究人员如市场研
究员或金融研究人员）如何思考和认识你所研究 的目标 ? 但是多元统计分析是一种非常重要的研究方法， 你将会在工作中接触和使用它
87
最后的最后： ?多视角看问题！ ?重视数据来源！
88
为什么多角度？ －－注意隐藏的变量
)表面的资料不一定可信 )比较两个品牌满意度
税收的案例
89
90
数据来源的重要性
)专栏作家安?兰德斯 (Ann Landers) 以“如果 可以重新再來，你是否还要孩子”調查其读者 的意見，得到了一个令人瞩目的结论 ：
?70%的父母认为有小孩不值得。
)另一个研究给所有父母提供了同样的机会，作 了同样的调查，结果显示：
?91%的父母认为有小孩很值得。
91
数据来源的重要性（续）
)Ms. Landers的读者多数是不喜欢为人父 母的人，调查结果自然有所偏颇。
)网络调查、街头拦截访问也存在同样的 问题
92
回顾一下：量化研究流程
?业务理解
?数据采集与准备
?建模
?应用评估 数据
仓库
知识
发现 数据
挖掘
活动 采集
数据 处 理
信息 应 知识 用
数据管理价值链
商务 智能
决策
93
量化研究方法论：由数据到信息
模式
94
95
.. .. 多元统计分析及R 语言建模考试试卷 一、简答题（共5小题，每小题6分，共30分） 1. 常用的多元统计分析方法有哪些？ （1）多元正态分布检验 （2）多元方差-协方差分析 （3）聚类分析 （4）判别分析 （5）主成分分析 ______________ 课程类别 必修[ ] 选修[ ] 考试方式 开卷[ ] 闭卷[ ]
（7）对应分析 （8）典型相关性分析 （ 9）定性数据建模分析 （10）路径分析（又称多重回归、联立方程） （11）结构方程模型 （12）联合分析 （13）多变量图表示法 （14）多维标度法 2. 简单相关分析、复相关分析和典型相关分析有何不同？并举例说明之。 简单相关分析：简单相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度，是研究随机变量之间的相关关系的一种统计方法。例如，以X、Y分别记小学生的数学与语文成绩，感兴趣的是二者的关系如何，而不在于由X去预测Y。 复相关分析；研究一个变量 x0与另一组变量 (x1,x2,…，xn)之间的相关程度。例如,职业声望同时受到一系列因素（收入、文化、权力……）的影响，那么这一系列因素的总和与职业声望之间的关系，就是复相关。复相关系数R0.12…n的测定，可先求出 x0对一组变量x1，x2，…，xn的回归直线，再计算x0与用回归直线估计值悯之间的简单直线回归。复相关系数为R0.12…n的取值围为0≤R0.12…n≤1。复相关系数值愈大，变量间的关系愈密切。 典型相关分析就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。
一、判断题 （ 对 ） 1 X ( X 1 , X 2 ,L , X p ) 的协差阵一定是对称的半正定阵 （ 对 （ ） 2 标准化随机向量的协差阵与原变量的相关系数阵相同。 对） 3 典型相关分析是识别并量化两组变量间的关系，将两组变量的相关关系 的研究转化为一组变量的线性组合与另一组变量的线性组合间的相关关系的研究。 （ 对 ）4 多维标度法是以空间分布的形式在低维空间中再现研究对象间关系的数据 分析方法。 （ 错）5 X (X 1 , X 2 , , X p ) ~ N p ( , ) ， X , S 分别是样本均值和样本离 差阵，则 X , S 分别是 , 的无偏估计。 n （ 对） 6 X ( X 1 , X 2 , , X p ) ~ N p ( , ) ， X 作为样本均值 的估计，是 无偏的、有效的、一致的。 （ 错） 7 因子载荷经正交旋转后，各变量的共性方差和各因子的贡献都发生了变化 （ 对） 8 因子载荷阵 A ( ij ) ij 表示第 i 个变量在第 j 个公因子上 a 中的 a 的相对重要性。 （ 对 ）9 判别分析中， 若两个总体的协差阵相等， 则 Fisher 判别与距离判别等价。 （对） 10 距离判别法要求两总体分布的协差阵相等， Fisher 判别法对总体的分布无特 定的要求。 二、填空题 1、多元统计中常用的统计量有：样本均值向量、样本协差阵、样本离差阵、 样本相关系数矩阵． 2、 设 是总体 的协方差阵， 的特征根 ( 1, , ) 与相应的单 X ( X 1,L , X m ) i i L m 位 正 交 化 特 征 向 量 i ( a i1, a i 2 ,L ,a im ) ， 则 第 一 主 成 分 的 表 达 式 是 y 1 a 11 X 1 a 12 X 2 L a 1m X m ，方差为 1 。 3 设 是总体 X ( X 1, X 2 , X 3, X 4 ) 的协方差阵， 的特征根和标准正交特征向量分别 为： 1 2.920 U 1' (0.1485, 0.5735, 0.5577, 0.5814) 2 1.024 U 2' (0.9544, 0.0984,0.2695,0.0824) 3 0.049 U 3' (0.2516,0.7733, 0.5589, 0.1624) 4 0.007 U 4' ( 0.0612,0.2519,0.5513, 0.7930) ，则其第二个主成分的表达式是
多元统计分析实例 院系:商学院 学号: 姓名:
多元统计分析实例 本文收集了2012年31个省市自治区的农林牧渔和相关农业数据,通过对对收集的数据进行比较分析对31个省市自治区进行分类.选取了6个指标农业产值,林业产值.牧业总产值,渔业总产值,农村居民家庭拥有生产性固定资产原值,农村居民家庭经营耕地面积. 数据如下表: 一.聚类法
设定4个群聚,采用了系统聚类法.下表为spss分析之后的结果.
Rescaled Distance Cluster Combine C A S E 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+ 内蒙 5 -+ 吉林 7 -+ 云南 25 -+-+ 江西 14 -+ +-+ 陕西 27 -+-+ | 新疆 31 -+ +-+ 安徽 12 -+-+ | | 广西 20 -+ +-+ +-------+ 辽宁 6 ---+ | | 浙江 11 -+-----+ | 福建 13 -+ | 重庆 22 -+ +---------------------------------+ 贵州 24 -+ | | 山西 4 -+---+ | | 甘肃 28 -+ | | | 北京 1 -+ | | | 青海 29 -+ +---------+ | 天津 2 -+ | | 上海 9 -+ | | 宁夏 30 -+---+ | 西藏 26 -+ | 海南 21 -+ | 河北 3 ---+-----+ | 四川 23 ---+ | | 黑龙江 8 -+-+ +-------------+ | 湖南 18 -+ +---+ | | | 湖北 17 -+-+ +-+ +-------------------------+ 广东 19 -+ | | 江苏 10 -------+ | 山东 15 -----------+-----------+ 河南 16 -----------+
华南农业大学期末试卷（A 卷） 2006学年第2学期 考试科目：多元统计分析 考试类型：（闭卷） 考试时间：120 分钟 学号 姓名 年级专业 题号 一 二 三 四 五 六 七 八 总分 得分 评阅人 一、填空题（5×6=30） 22121212121~(,),(,),(,),, 1X N X x x x x x x ρμμμμσρ ?? ∑==∑= ???+-1、设其中则Cov(,)=____. 10 31 2~(,),1,,10,()()_________i i i i X N i W X X μμμ=' ∑=--∑、设则=服从。 ()1 2 34 433,4 92,32 16___________________ X x x x R -?? ?'==-- ? ?-? ? =∑、设随机向量且协方差矩阵则它的相关矩阵 4、 __________， __________， ________________。 215,1, ,16(,),(,) 15[4()][4()]~___________i p p X i N X A N T X A X μμμμ-=∑∑'=--、设是来自多元正态总体和分别为正态总体的样本均值和样本离差矩阵,则。 (), 123设X=x x x 的相关系数矩阵通过因子分析分解为 211X h = 的共性方差111 X σ = 的方差21X g =1公因子f 对的贡献121330.93400.1280.9340.4170.83511 00.4170.8940.02700.8940.44730.8350.4470.1032013 R ? ? - ????? ? -?? ? ? ?=-=-+ ? ? ? ??? ? ? ????? ? ???
第七章 因子分析 7.1 试述因子分析与主成分分析的联系与区别。 答：因子分析与主成分分析的联系是：①两种分析方法都是一种降维、简化数据的技术。②两种分析的求解过程是类似的，都是从一个协方差阵出发，利用特征值、特征向量求解。因子分析可以说是主成分分析的姐妹篇，将主成分分析向前推进一步便导致因子分析。因子分析也可以说成是主成分分析的逆问题。如果说主成分分析是将原指标综合、归纳，那么因子分析可以说是将原指标给予分解、演绎。 因子分析与主成分分析的主要区别是：主成分分析本质上是一种线性变换，将原始坐标变换到变异程度大的方向上为止，突出数据变异的方向，归纳重要信息。而因子分析是从显在变量去提炼潜在因子的过程。此外，主成分分析不需要构造分析模型而因子分析要构造因子模型。 7.2 因子分析主要可应用于哪些方面？ 答：因子分析是一种通过显在变量测评潜在变量，通过具体指标测评抽象因子的统计分析方法。目前因子分析在心理学、社会学、经济学等学科中都有重要的应用。具体来说，①因子分析可以用于分类。如用考试分数将学生的学习状况予以分类；用空气中各种成分的比例对空气的优劣予以分类等等②因子分析可以用于探索潜在因素。即是探索未能观察的或不能观测的的潜在因素是什么，起的作用如何等。对我们进一步研究与探讨指示方向。在社会调查分析中十分常用。③因子分析的另一个作用是用于时空分解。如研究几个不同地点的不同日期的气象状况，就用因子分析将时间因素引起的变化和空间因素引起的变化分离开来从而判断各自的影响和变化规律。 7.3 简述因子模型中载荷矩阵A 的统计意义。 答：对于因子模型 1122i i i ij j im m i X a F a F a F a F ε=++ ++ ++ 1,2, ,i p = 因子载荷阵为1112 121 22212 12 (,, ,)m m m p p pm a a a a a a A A A a a a ????? ?==?????? ? ?A i X 与j F 的协方差为： 1Cov(,)Cov(,)m i j ik k i j k X F a F F ε==+∑ =1 Cov( ,)Cov(,)m ik k j i j k a F F F ε=+∑ =ij a 若对i X 作标准化处理，=ij a ,因此 ij a 一方面表示i X 对j F 的依赖程度；另一方面也反映了
第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章： 二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： )',...,,(),,,(2121P p EX EX EX EX μμμ='=Λ)')((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ
2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . 特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点） 1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。 2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。 3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的变),(~∑μP N X μ∑μ p X X X ,,,21Λ),(~∑μP N X ) ,('A A d A N s ∑+μ)()1(,, n X X ΛX )',,,(21p X X X Λ)')(()()(1X X X X i i n i --∑=n 1 X μ∑μX )1,(~∑n N X P μ),1(∑-n W p X X
多元统计分析方法 Document serial number【UU89WT-UU98YT-UU8CB-UUUT-UUT108】
多元统计分析概述 目录 一、引言 (3) 二、多元统计分析方法的研究对象和主要内容 (3) 1.多元统计分析方法的研究对象 (3) 2.多元统计分析方法的主要内容 (3) 三、各种多元统计分析方法 (3) 1.回归分析 (3) 2.判别分析 (6) 3.聚类分析 (8) 4.主成分分析 (10) 5.因子分析 (10) 6. 对应分析方法 (11) 7. 典型相关分析 (11) 四、多元统计分析方法的一般步骤 (12) 五、多元统计分析方法在各个自然领域中的应用 (12) 六、总结 (13) 参考文献 (14) 谢辞 (15)
一、引言 统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统计数据方法的总称，是统计学中的具有丰富理论成果和众多应用方法的重要分支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实例来进一步了解多元统计分析方法的具体实现过程。 二、多元统计分析方法的研究对象和主要内容 （一）多元统计分析方法的研究对象 由于大量实际问题都涉及到多个变量，这些变量又是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方法的总称。其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量特有的一些问题，多元统计分析是一类范围很广的理论和方法。 现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中，有两种方法可同时对多个随机变量的观测数据进行有效的分析和研究。一种方法是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。但是，这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互
一、填空题： 1、多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法. 2、回归参数显著性检验是检验解释变量对被解释变量的影响是否著. 3、聚类分析就是分析如何对样品（或变量）进行量化分类的问题。通常聚类分析分为 Q型聚类和 R型聚类。 4、相应分析的主要目的是寻求列联表行因素A 和列因素B 的基本分析特征和它们的最优联立表示。 5、因子分析把每个原始变量分解为两部分因素：一部分为公共因子，另一部分为特殊因子。 6、若 () (,), P x N αμα ∑=1,2,3….n且相互独立，则样本均值向量x服从的分布 为_x~N(μ，Σ/n)_。 二、简答 1、简述典型变量与典型相关系数的概念，并说明典型相关分析的基本思想。 在每组变量中找出变量的线性组合，使得两组的线性组合之间具有最大的相关系数。选取和最初挑选的这对线性组合不相关的线性组合，使其配对，并选取相关系数最大的一对，如此下去直到两组之间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。 2、简述相应分析的基本思想。 相应分析，是指对两个定性变量的多种水平进行分析。设有两组因素A和B，其中因素A包含r个水平，因素B包含c个水平。对这两组因素作随机抽样调查，得到一个rc的二维列联表，记为。要寻求列联表列因素A和行因素B的基本分析特征和最优列联表示。相应分析即是通过列联表的转换，使得因素A
和因素B 具有对等性，从而用相同的因子轴同时描述两个因素各个水平的情况。把两个因素的各个水平的状况同时反映到具有相同坐标轴的因子平面上，从而得到因素A 、B 的联系。 3、简述费希尔判别法的基本思想。 从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数 系数： 确定的原则是使得总体之间区别最大，而使每个总体内部的离差最小。将新样品的p 个指标值代入线性判别函数式中求出 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。 5、简述多元统计分析中协差阵检验的步骤 第一，提出待检验的假设 和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 协差阵的检验 检验0=ΣΣ 0p H =ΣI ： /2 /21exp 2np n e tr n λ???? =-?? ? ???? S S 00p H =≠ΣΣI ： /2 /2**1exp 2np n e tr n λ???? =-?? ? ???? S S
多元统计分析课程 设计
多元统计分析课程设计 题目：《因子分析在环境污染方面的应用》 姓名：王厅厅 专业班级：统计学级2班 学院：数学与系统科学学院 时间： 1月 3 日
目录 1.摘要: (1) 2.引言： (1) 2.1背景 (1) 2.2问题的研究意义 (1) 2.3方法介绍 (2) 3.实证分析 (10) 3.1指标 (10) 3.2原始数据 (10) 3.3数据来源 (13) 3.4分析过程： (13) 4.结论及建议 (25) 5.参考文献 (26)
1.摘要: 中国的环境问题，由于中国政府对环境问题的关注，环境法律日趋完善，执法力度加大，对环境污染治理的投人逐年有较大幅度的增加，中国环境问题已朝着好的方面发展。 可是，仍存在着环境问题，主要体现在环境污染问题，其中主要为水污染和大气污染。 关键词：环境污染水污染大气污染因子分析2.引言： 2.1背景： 中国的环境保护取得了明显的成就，部分地区环境质量有所改进。可是，从整体上看，中国的环境污染仍在加剧，环境质量还在恶化。大气二氧化硫含量居高不下，境质量呈恶化趋势，固体废弃物污染量大面广，噪声扰民严重，环境污染事故时有发生。据中国社会科学院公布的一项报告表明：中国环境污染的规模居世界前列。 2.2问题的研究意义：
为分析比较各地环境污染特点，利用因子分析对环境污染的各个指标进行降维处理并得到影响环境的内在因素，进一步对环境污染原因及治理措施进行分析，让更多的人认识到环境的重要性，准确把握各地区环境治理方法以及针对不同地区制定不同的政策改进环境问题，这对综合治理环境问题具有重要意义。 2.3方法介绍 因子分析的意义：变量间的信息的高度重叠和高度相关会给统计方法的应用设置许多障碍。为解决此问题，最简单和最直接的解决方案是削减变量个数，但这必然会导致信息丢失和 信息不完全等问题的产生。为此人们希望探索一种更有效地解决方法，它既能大幅减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。因子分析正是这样一种能够有效降低变量维数的分析方法。 因子分析的步骤： ·因子分析的前提条件：要求原有变量之间存在较强的相关关系。 ·因子提取：将原有变量综合成少数几个因子是因子分析的核心内容。
练习题 一、填空题 1．人们通过各种实践，发现变量之间的相互关系可以分成（相关）和（不相关）两种类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。 2．总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。3．回归方程显著性检验时通常采用的统计量是（S R/p）/[S E/（n-p-1）]。 4．偏相关系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的）的相关系数。 5．Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。 6．主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求（降维）的一种方法。 7．主成分分析的基本思想是（设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来替代原来的指标）。 8．主成分表达式的系数向量是（相关系数矩阵）的特征向量。 9．样本主成分的总方差等于（1）。 10．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相关矩阵特征值）的特征向量。 11．SPSS中主成分分析采用（analyze—data reduction—facyor）命令过程。 12．因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部分为（特殊因子）。 13．变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14．公共因子方差与特殊因子方差之和为（1）。 15．聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏程度）进行科学的分类。 16．Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17．Q型聚类统计量是（距离），而R型聚类统计量通常采用（相关系数）。 18．六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19．快速聚类在SPSS中由（k-均值聚类（analyze—classify—k means cluster））过程实现。 20．判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21．用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22．进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有（Fisher准则）、（贝叶斯准则）。 23．类内样本点接近，类间样本点疏远的性质，可以通过（类与类之间的距离）与（类内样本的距离）的大小差异表现出来，而两者的比值能把不同的类区别开来。这个比值越大，说明类与类间的差异越（类与类之间的距离越大），分类效果越（好）。24．Fisher判别法就是要找一个由p个变量组成的（线性判别函数），使得各自组内点的
《多元统计分析》课程试卷答案 A 卷 2009年秋季学期 开课学院：理 考试方式：√闭卷、开卷、一纸开卷、其它 考试时间：120 分钟 班级 姓名 学号 散卷作废。 一、（15分）设()∑????? ??=,~3321μN x x x X ，其中????? ??-=132μ，??? ? ? ??=∑221231111， 1．求32123x x x +-的分布； 2. 求二维向量???? ??=21a a a ，使3x 与??? ? ??'-213x x a x 相互独立。 解：1.32123x x x +-()CX x x x ???? ? ? ??-=321123，则()C C C N CX '∑,~μ。（2分） 其中：μC ()13132123=????? ??--=，()9123221231111123=??? ? ? ??-????? ??-='∑C C 。（4分） 所以32123x x x +-()9,13~N （1分） 2. ????? ?????? ??'-213 3x x a x x =AX x x x a a ????? ? ?????? ??--3212 1110 ，则()A A A N AX '∑,~2μ。（1分） 其中： 订 线 装
μA ???? ??++-=???? ? ??-???? ??--=132113********* a a a a ，（1分） ??? ? ??+--+++--+--='???? ??--???? ? ?????? ??--='∑242232222211002212311111100 2121222121212121 a a a a a a a a a a a a a a A A （2分） 要使3x 与???? ??'-213x x a x 相互独立，必须02221=+--a a ，即2221=+a a 。 因为2221=+a a 时24223212122 21 +--++a a a a a a 0>。所以使3x 与??? ? ??'-213x x a x 相互独立，只要 ???? ??=21a a a 中的21,a a 满足2221=+a a 。 （4分） 二、（14分）设一个容量为n=3的随机样本取自二维正态总体，其数据矩阵为 ??? ? ? ??=3861096X ，给定显著性水平05.0=α， 1. 求均值向量μ和协方差矩阵∑的无偏估计 2. 试检验,38:H 0???? ??=μ .38:H 1??? ? ??≠μ （已知F 分布的上α分位数为19)2,2(F ,5.199)1,2(F ,51.18)2,1(F 0.050.050.05===） 解：1、??? ? ??==∑=68X n 1X n 1i i （3分） ???? ??--='--=∑=9334)X X ()X X (1-n 1S i n 1i i （3分） 2、,38:H 0???? ??=μ .38:H 1??? ? ??≠μ…（1分）
实用多元统计分析相 尖习题 练习题 一、填空题 1?人们通过各种实践，发现变量之间的相互矢系可以分成（相尖）和（不相尖）两种 类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相尖系数。 2?总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。 3 ?回归方程显著性检验时通常采用的统计量是（S R/P）/[S E/ （n-p-1） ]O 4?偏相尖系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的） 的相尖系数。 5. Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。
6 ?主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求 （降维）的一种方法。 7 ?主成分分析的基本思想是（设法将原来众多具有一定相尖性（比如P个指标），重 新组合成一组新的互相无矢的综合指标来替代原来的指标）。 8 ?主成分表达式的系数向量是（相尖系数矩阵）的特征向量。 9 ?样本主成分的总方差等于（1）。 10 ?在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相尖矩阵特征值）的特征向量。 11. SPSS 中主成分分析采用（analyze—data reduction — facyor）命令过程。 12?因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部
分为（特殊因子）。 13 ?变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14 ?公共因子方差与特殊因子方差之和为（1） o 15 ?聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏 程度）进行科学的分类。 16. Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17. Q型聚类统计量是（距离），而R型聚类统计量通常采用（相尖系数）。 18. 六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19?快速聚类在SPSS中由（k■均值聚类（analyze— classify— k means cluste））过程实 现。 20. 判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21. 用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22. 进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有 （Fisher准则）、（贝叶斯准则）。 23. 类内样本点接近，类间样本点疏
精品资料 一、对我国30个省市自治区农村居民生活水平作聚类分析 1、指标选择及数据：为了全面分析我国农村居民的生活状况，主要考虑从收入、消费、就业等几个方面对农村居民的生活状况进行考察。因此选取以下指标：农村产品价格指数、农村住宅投资、农村居民消费水平、农村居民消费支出、农村居民家庭人均纯收入、耕地面积及农村就业人数。现从２０１０年的调查资料中
２、将数据进行标准化变换：
３、用Ｋ－均值聚类法对样本进行分类如下：
分四类的情况下，最终分类结果如下： 第一类：北京、上海、浙江。 第二类：天津、、辽宁、、福建、甘肃、江苏、广东。 第三类：浙江、河北、内蒙古、吉林、黑龙江、安徽、山东、河南、湖北、四川、云南。 第四类：山西、青海、宁夏、新疆、重庆、贵州、陕西、湖南、广西、江西、。从分类结果上看，根据２０１０年的调查数据，第一类地区的农民生活水平较高，第二类属于中等水平，第三类、第四类属于较低水平。 二、判别分析 针对以上分类结果进行判别分析。其中将新疆作作为待判样本。判别结果如下:
**. 错误分类的案例 从上可知，只有一个地区判别组和原组不同，回代率为96%。 下面对新疆进行判别： 已知判别函数系数和组质心处函数如下： 判别函数分别为：Y1=0.18x1 +0.493x2 + 0.087x3 + 1.004x4 + 0.381x5 -0.041x6 -0.631x7 Y2=0.398x1+0.687x2 + 0.362x3 + 0.094x4 -0.282x5 + 1.019x6 -0.742x7 Y3=0.394x1-0.197x2 + 0.243x3-0.817x4 + 0.565x5-0.235x6 + 0.802x7 将西藏的指标数据代入函数得：Y1=-1.08671 Y2=-0.62213 Y3=-0.84188 计算Y值与不同类别均值之间的距离分别为：D1=138.5182756 D2=12.11433124 D3=7.027544292 D4=2.869979346 经过判别，D4最小，所以新疆应归于第四类，这与实际情况也比较相符。 三，因子分析： 分析数据在上表的基础上去掉两个耕地面积和农村固定资产投资两个指标。经spss软件分析结果如下:
多元统计分析有哪些应用? 比较 关系 预测 分类 评价 各种应用对应的多元统计分析方法 比较：多元方差分析 关系：回归模型 预测：回归模型 分类：聚类分析与判别分析、回归模型 评价：主成分分析与因子分析 ?多元回归、logisitic回归、Cox回归、Poisson回归 多元统计分析方法主要内容 多元T检验、多元方差分析 ?Hotelling T2 ?multivariate analysis of variance (MANOV A) 多元线性回归(multivariate linear regression) logistic回归(logistic regression) Cox比例风险模型(Cox model) Poisson回归(Poisson regression) 聚类分析(cluster analysis) 判别分析(discriminant analysis) 主成分分析和因子分析 生存分析 本课程的要求 上机做练习，分析实际资料 学会看文献，判断统计分析的应用是否正确 统计软件SAS，或Stata, SPSS10.01 考试： 理论占30%，实验占70% 二、多元统计分析的基本概念 研究因素从广义的角度看，所有可以测量的变量都可以成为研究因素，比如：年 龄、性别、文化程度、人体的各种生物学特征和生理生化指标环境因素、心理因素等。狭义来看，研究因素是指可能与研究目的有关的影响因素 多元统计分析对多变量样本的要求 ①分布：多元正态分布、相互独立、多元方差齐 ②样本含量 目前尚没有多元分析的样本含量估计方法，一般认为样本含量应超过研究因素5-10倍以上即可。 数值变量→分类成有序分类变量 哑变量的数量=K-1（K为分类数）
22121212121 ~(,),(,),(,),, 1X N X x x x x x x ρμμμμσρ ?? ∑==∑= ??? +-1、设其中则Cov(,)=____. 10 31 2~(,),1,,10,()()_________i i i i X N i W X X μμμ=' ∑=--∑L 、设则=服从。 ()1 2 34 433,4 92,32 16___________________ X x x x R -?? ?'==-- ? ?-? ? =∑、设随机向量且协方差矩阵则它的相关矩阵 4、 __________， __________， ________________。 215,1,,16(,),(,)15[4()][4()]~___________i p p X i N X A N T X A X μμμμ-=∑∑'=--L 、设是来自多元正态总体和分别为正态总体的样本均值和样本离差矩阵,则。 12332313116421(,,)~(,),(1,0,2),441, 2142X x x x N x x x x x μμ-?? ?'=∑=-∑=-- ? ?-?? -?? + ??? 、设其中试判断与是否独立？ (), 1 2 3设X=x x x 的相关系数矩阵通过因子分析分解为 211X h = 的共性方差111X σ= 的方差21X g = 1公因子f 对的贡献1213 30.93400.1280.9340.4170.8351100.4170.8940.02700.8940.44730.8350.4470.10320 13 R ? ? - ????? ? -?? ? ? ?=-=-+ ? ? ? ??? ? ? ????? ? ???
多元统计分析重点宿舍版 第一讲：多元统计方法及应用；多元统计方法分类（按变量、模型、因变量等） 多元统计分析应用 选择题：①数据或结构性简化运用的方法有：多元回归分析，聚类分析，主成分分析，因子分析 ②分类和组合运用的方法有：判别分析，聚类分析，主成分分析 ③变量之间的相关关系运用的方法有：多元回归，主成分分析，因子分析， ④预测与决策运用的方法有：多元回归，判别分析，聚类分析 ⑤横贯数据：{因果模型(因变量数)：多元回归，判别分析相依模型(变量测度)：因子分析，聚类分析 多元统计分析方法 选择题：①多元统计方法的分类：1）按测量数据的来源分为：横贯数据（同一时间不同案例的观测数据），纵观数据（同样案例在不同时间的多次观测数据） 2）按变量的测度等级（数据类型）分为：类别（非测量型）变量，数值型（测量型）变量 3）按分析模型的属性分为：因果模型，相依模型 4）按模型中因变量的数量分为：单因变量模型，多因变量模型，多层因果模型 第二讲：计算均值、协差阵、相关阵；相互独立性 第三讲：主成分定义、应用及基本思想，主成分性质，主成分分析步骤 主成分定义：何谓主成分分析 就是将原来的多个指标（变量）线性组合成几个新的相互无关的综合指标（主成分），并使新的综合指标尽可能多地反映原来的指标信息。 主成分分析的应用 ：（1）数据的压缩、结构的简化；（2）样品的综合评价，排序 主成分分析概述——思想：①（1）把给定的一组变量X1,X2,…XP ,通过线性变换，转换为一组不相关的变量Y1，Y2，…YP 。（2）在这种变换中，保持变量的总方差（X1，X2，…Xp 的方差之和）不变，同时，使Y1具有最大方差，称为第一主成分；Y2具有次大方差，称为第二主成分。依次类推，原来有P 个变量，就可以转换出P 个主
实验报告 一、实验名称 多元统计分析作业题。 二、实验目的 （一）了解并掌握主成分分析与因子分析的基本原理和简单解法。 （二）学会使用matlab编写程序进行因子分析，求得特征值、特征向量、载荷矩阵等值。（三）学会使用排序、元胞数组、图像表示最后的结果，使结果更加直观。 三、实验内容与要求
四、实验原理与步骤 （一）第一题： 1、实验原理： 因子分析简介： (1) 1.1 基本因子分析模型 设p维总体x=(x1,x2,....,xp)'的均值为u=(u1,u2,....,u3)'，因子分析的一般模型为 x1=u1+a11f1+a12f2+........+a1mfm+ε 1 x2=u2+a21f1+a22f2+........+a2mfm+ε 2 ......... xp=up+ap1f1+fp2f2+..........+apmfm+εp 其中，f1,f2,.....,fm为m个公共因子；εi是变量xi(i=1,2,.....,p)所独有的特殊因子，他们都是不可观测的隐变量。称aij(i=1,2,.....,p;j=1,2,.....,m)为变量xi的公共因子fi上的载荷，它反映了公共因子对变量的重要程度，对解释公共因子具有重要的作用。上式可以写为矩阵形式 x=u+Af+ε
其中A=(aij)pxm 称为因子载荷矩阵；f=(f1,f2,....,fm)'为公共因子向量；ε=(ε1,ε2,.....εp)称为特殊因子向量 (2) 1.2 共性方差与特殊方差 xi的方差var(xi)由两部分组成，一个是公共因子对xi方差的贡献，称为共性方差；一个是特殊因子对xi方差的贡献，称为特殊方差。每个原始变量的方差都被分成了共性方差和特殊方差两部分。 (3) 1.3 因子旋转 因子分析的主要目的是对公共因子给出符合实际意义的合理解释，解释的依据就是因子载荷阵的个列元素的取值。当因子载荷阵某一列上各元素的绝对值差距较大时，并且绝对值大的元素较少时，则该公共因子就易于解释，反之，公共因子的解释就比较困难。此时可以考虑对因子和因子载荷进行旋转（例如正交旋转），使得旋转后的因子载荷阵的各列元素的绝对值尽可能量两极分化，这样就使得因子的解释变得容易。 因子旋转方法有正交旋转和斜交旋转两种，这里只介绍一种普遍使用的正交旋转法：最大方差旋转。这种旋转方法的目的是使因子载荷阵每列上的各元素的绝对值（或平方值）尽可能地向两极分化，即少数元素的绝对值（或平方值）取尽可能大的值，而其他元素尽量接近于0. (4) 1.4 因子得分 在对公共因子做出合理解释后，有时还需要求出各观测所对应的各个公共因子的得分，就比如我们知道某个女孩是一个美女，可能很多人更关心该给她的脸蛋、身材等各打多少分，常用的求因子得分的方法有加权最小二乘法和回归法。 注意：因子载荷矩阵和得分矩阵的区别： 因子载荷矩阵是各个原始变量的因子表达式的系数，表达提取的公因子对原始变量的影响程度。因子得分矩阵表示各项指标变量与提取的公因子之间的关系，在某一公因子上得分高，表明该指标与该公因子之间关系越密切。简单说，通过因子载荷矩阵可以得到原始指标变量的线性组合，如X1=a11*F1+a12*F2+a13*F3,其中X1为指标变量1，a11、a12、a13分别为与变量X1在同一行的因子载荷，F1、F2、F3分别为提取的公因子；通过因子得分矩阵可以得到公因子的线性组合，如F1=a11*X1+a21*X2+a31*X3，字母代表的意义同上。 (5) 1.5 因子分析中的Heywood（海伍德）现象 如果x的各个分量都已经标准化了，则其方差=1。即共性方差与特殊方差的和为1。也就是说共性方差与特殊方差均大于0，并且小于1。但在实际进行参数估计的时候，共性方差
二名词解释 1、多元统计分析：多元统计分析是运用数理统计的方法来研究多变量（多指标）问题的理论和方法，是一元统计学的推广 2、聚类分析:是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。将个体或对象分类，使得同一类中的对象之间的相似性比与其他类的对象的相似性更强。使类内对象的同质性最大化和类间对象的异质性最大化 3、随机变量：是指变量的值无法预先确定仅以一定的可能性(概率)取值的量。它是由于随机而获得的非确定值，是概率中的一个基本概念。即每个分量都是随机变量的向量为随机向量。类似地，所有元素都是随机变量的矩阵称为随机矩阵。 4、统计量：多元统计研究的是多指标问题,为了了解总体的特征,通过对总体抽样得到代表总体的样本,但因为信息是分散在每个样本上的,就需要对样本进行加工,把样本的信息浓缩到不包含未知量的样本函数中,这个函数称为统计量 三、计算题 解：
答： 答：
题型三解答题 1、简述多元统计分析中协差阵检验的步骤 答： 第一，提出待检验的假设和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 2、简述一下聚类分析的思想 答：聚类分析的基本思想，是根据一批样品的多个观测指标，具体地找出一些能够度量样品或指标之间相似程度的统计量，然后利用统计量将样品或指标进行归类。把相似的样品或指标归为一类，把不相似的归为其他类。直到把所有的样品（或指标）聚合完毕. 3、多元统计分析的内容和方法 答：1、简化数据结构,将具有错综复杂关系的多个变量综合成数量较少且互不相关的变量，使研究问题得到简化但损失的信息又不太多。（1）主成分分析（2）因子分析（3）对应分析等