第三章多元统计分析
§4 聚类分析
分类是人类认识世界的方式，也是管理世界的有效手段。在科学研究中非常重要，许多科学的研究都是从分类研究出发的。没有分类就没有效率；没有分类，这个世界就没有秩序。瑞典博物学家林奈（Carl von Linnaeus, 1707-1778）因为对植物的分类成就被后人誉为“分类学之父”，后人评价说“上帝创世，林奈分类”——能与上帝的名字并列的人不多，另一个著名的科学家是牛顿。由此可见分类成果的重要性。最初分类都是定性了，后来随着科学的发展产生了定量分类技术，包括基于统计学的聚类方法和基于模糊数学的聚类技巧。本节主要讲述统计学意义的数字分类方法思想和过程。
1 聚类的分类
分类研究的成果的重要性决定了方法的重大实践意义。在任何一门语言的语法学中，都要对词词汇进行分类，词汇分类可以根据词性：名词，动词，形容词……；英文还可以根据首字母分类：ABCD……；汉字则还可以根据笔划，如此等等。在生物学中，将生物划分为：界，门，纲，目，科，属，种。例如白菜（种）属于油菜属、十字花科、十字花目、双子叶植物纲、被子植物亚门、种子植物门、植物界；老虎（种）则属于猫属、猫科、食肉目、哺乳动物纲、脊椎动物亚门、脊索动物门、动物界。这样，整个世界的生物就可以建立一个等级谱系，根据这个谱系，我们可以比较容易地判断那些生物已经认识了，哪些生物尚未发现，哪些生物已经灭绝了。如果发现了新的生物，就可以方便地将其归类。在天文学中，天体可以根据视觉区域分类，也可以根据发光性质与光谱特征进行分类。在地理学中，城市既可以根据地域空间分类，也可以根据城市的职能进行分类。
表3-3-1 各种生物在分类学上的位置举例
位置白菜虎
界植物界动物界
门种子植物门脊索动物门
亚门被子植物亚门脊椎动物亚门
纲双子叶植物纲哺乳动物纲
目十字花目食肉目
科十字花科猫科
属油菜属猫属
种白菜虎
当我们走进一家图书馆，如果它们的图书没有分类编目，我们要找到一本图书与大海捞针没有什么区别。分类的方式也会影响工作的效率。书店的图书一般根据科学门类进行分类摆设，但有一段时间一家书店改为按照出版单位进行分类排列，结果读者很难找到所需图书，这家原本效益挺好的书店很快收到了消极影响。
早期的分类，一般根据事物的属性与特征进行划分，属于定性分类的范畴。随着人们认识的深入和研究对象复杂程度的增加，单纯的定性分类方法就不能满足要求了，于是产生了定量分类技术，即所谓数字分类。本节要讲述的就是根据多个指标进行数字分类的一种多元
统计分析技术。根据分类对象的不同，聚类分析又可以分为两类：一是在变量空间中根据变量特征或者指标性质对样本进行分类，这叫做Q 型聚类分析；二是在样本空间中根据变量在样本上的观测值对变量进行分类，叫做R 型距离分析。我们着重讲述的是对样本分类，即Q 型距离分析。此外，由于现实世界的事物很难做到一分为二：许多测度是模糊的，因此产生了模糊聚类技术，基本思路与我们学习的统计分类一致（图3-3-1）。
??
?
?
?
?
?????????—对变量分类—型聚类分析—对样本分类—型聚类分析数字分类模糊聚类定量分类定性分类关于分类方法的分类R Q 图3-3-1 关于分类的分类
在地理学中，分类一般涉及到地域，基于地域的分类又可以分为两类，即同域分类和异域分类。一般意义的分类是同域分类：对同一个地域系统的要素进行分类；但有时候需要进行异域分类：对不同地域系统的要素进行分类。具体说明如下：
同域分类：
经济建设与濒危生物保护：例如公路建设，不仅要考虑城市之间以及城乡联系，还要考虑文物保护、濒危物种的保护——主要是保护生物『基因库』。
考察某种濒危物种，调查其生态环境的各种参数（变量）→分区（样本）→绘图→调查→落实→范围确定……→提交给交通部。
异域分类：
引进日本福冈甜桔，可供选择的引进地点有：合肥、武汉、长沙、桂林、温州、成都……。
与甜桔生活有关的分析变量包括：年平均气温，年平均降雨量，年日照时数，年极端最低温，一月份平均气温。
利用上述变量，将日本福冈与候选城市放到一起聚类，就是所谓异域聚类。
人们采用模糊数学中的相似优先比得到如下结果：长沙，温州，成都，武汉，桂林，合肥。我们采用异域聚类得到结果如下图（图3-3-2，由SPSS 给出）：可以选择的顺序依次是：长沙，成都，温州，桂林，武汉，合肥。可见，两种分析方法的结论是一样的：优先选择的地点是长沙，不宜选择的地点是合肥。
图3-3-2 异域聚类分析结果一例
3-13 基于相似系数的异域聚类结果：长沙，成都，温州，桂林，合肥，武汉
在多元统计学中，聚类分析又叫群分析，乃是研究样本或指标的分类问题的一种多元统计方法。所谓类，通俗地讲，就是相似元素的集合。聚类方法有包括如下种类：系统聚类法，有序样品法，模糊聚类法，图论聚类法，聚类预报法……。
2 距离与相似系数
聚类分析是根据相似性和差异性来进行的，相似性可以借助相似系数之类表征，差异性则可以通过距离反映。广义地将，距离和相似性是同一类别的数学问题。广义距离，有各种各样的定义，不同的距离有不同的优点和缺点。我们可以更加聚类分析的目的或者研究对象的特征选择距离，也可以自行定义一种距离。需要明确的是，定义任何一种距离，都不得违背距离公理。 ⒈ 距离公理
设x 1、x 2、…、x n 为n 个样本，第i 个样本x i 与第j 个样本x j 之间建立一个函数关系式d ij =d (x i , x j )，如果它满足如下条件，则称d ij 为样本x i 与x j 之间的距离：
① 非负性：0≥ij d 对所有的i 、j 成立； ② 规范性：0=ij d 当且仅当j i x x =； ③ 对称性：ji ij d d =对所有的i 、j 成立；
④ 三点不等式，在数学上叫做Cauchy 不等式：kj ik ij d d d +≤对所有的i 、j 、k 成立。 距离的大小可以反映样本之间的差异程度。 ⒉ 常见距离
⑴ 欧式距离（Euclid 距离）
2/11
2))((
∑=-=m
k jk ik
ij x x
d . (3-3-1)
下面以一个最简单的实例进行说明。已知三个城市的三项指标，计算它们的欧式距离（表3-2-2）。
表3-3-2 甲乙丙三城市的三个指标
城市 非农业人口 工业总产值 建成区面积 城市甲（A ） 160 60 115 城市乙（B ） 110 43 93 城市丙（C ） 90 35 75 方 差
866.667
108.667
267.556
根据公式（3-3-1），甲、乙两城市的欧式距离为（注意，这不是地理或者交通意义的距离）：
210.57221750)93115()4360()110160(222222=++=-+-+-=AB d . (3-3-1)
欧式距离的优点：几何意义明确，简单，容易掌握，由于中学数学就已初步接触，数学知识不多的人也可以把握它的基本含义。
缺点：从统计学的角度看，使用欧式距离要求一个向量的n 个分量不相关，且具有相当的方差，或者说各个坐标对欧式距离的贡献同等且变差大小相同，此时使用欧式距离才合适，且效果良好，否则就不能如实反映情况且容易导致错误的结论。因此需要对坐标加权，化为统计距离（参见后面的精度加权距离）。
有时采用欧式距离平方（squared Euclid distance ）：
∑=-=
m
k jk ik
ij
x x
d 1
22)(, (3-3-2)
⑵ 明氏距离（或译“闵氏距离”，Minkovski ，Minkowski 距离）
设x i 、x j 均均为m 为向量，且
?
?
??
??
??????=im i i i x x x x 2
1, ??????
????????=jm j j j x x x x 21, (n i ,,2,1 =), (3-3-4)
则称
q m
k q
jk ik ij x x q d /11
][
)(∑
=-=， （n j i ,,2,1, =） (3-3-5)
① 当q =1时，得绝对距离（Block ）
∑=-=
m
k jk ik
ij x x
d 1
)1(. (3-3-6)
对于前面的例子，绝对距离为
89221750)1(=++=AB d . (3-3-7)
② 当q =2时，得欧式距离
2/11
2
)(
)2(∑
=-=m
k jk ik ij x x d , (3-3-8)
③ 当q →∞时，得切比雪夫距离（Chebychev 距离）。
明氏距离的有缺点如下：
优点：人们使用较多，较熟悉，易于理解。
缺点：a 受指标量纲的影响；b 没有考虑指标之间的相关性。
⑶ B 模距离
对于任意的正定矩阵B ，由下式确定的距离称为B 模距离
[]
2
/1)
()(j i T j i ij x x B x x d --=，（n i ,,2,1 =） (3-3-9)
① 当B =I （单位矩阵）时，d ij 为欧式距离。给定两个向量
?
?
??
??
??????=im i i i x x x x 2
1, ??????
????????=jm j j j x x x x 21, (n i ,,2,1 =, m k ,,2,1 =) (3-3-10)
显然
????
??
?????
???---=-jm im j i j i j i x x x x x x x x 2211)(. (3-3-11) 从而
[
]
?????
?
?
???????------=--=jm im j i j i jm
im j i j i j i T j i ij x x x x x x x x x x x x x x I x x d 22
11221
12
)()(. (3-3-12)
显然这正是欧式距离。对于前面的例子，我们有
??????????=-221750)(j i x x , ????
?
?????=100010001I , 210.57=AB d . (3-3-13) ② 当)1
,
,1
,
1
(
diag 22
2
21m
B σσσ =，为精度加权距离。这里)var(2
ik k x =σ。
下面以三样本为例说明：
[
]
????
?
?????---??????????---=33221123
2
2213
3221
12
/1000/1000/1j i j i j i j i j i j i ij x x x x x x x x x x x x d σσσ
23
2
3322
2
222
1
2
11)()()(σ
σ
σ
j i j i j i x x x x x x -+
-+
-=
. (3-3-14)
对于前面表3-3-2中的例子，容易得到
71166.2809.1660.2885.2556
.26722667.10817667.866502
22=++=++=AB
d . (3-3-15)
③ 当11
)]
[cov(--∑≡=x B 时，为马氏距离（Mahalanobis 距离）。
设∑表示协方差阵
[]
m
m ij
?=∑σ. (3-3-16)
其中
∑
=---=n
j j i i ij x x x x n 1
))((11ααασ, (m j i ,,2,1, =) (3-3-17)
这里
∑==n i i x n x 11αα, ∑
==n
j j x n x 1
1αα. (3-3-18)
如果逆矩阵∑-1存在，则两个样本之间的马氏距离可由下式定义
)()(12j i T j i ij x x x x d -∑-=-; (3-3-19)
样本X 到总体G 的马氏距离为
)()(12),(μμ-∑-=-x x d T G X . (3-3-20)
式中μ为总体的均值向量。
对于前面的例子，协方差矩阵为：
表3-3-3 甲乙丙三城市的协方差
即有
??
??
?
?????=∑556.267667.168333.473667.168667.108667.306333.473667.306667.866,
逆矩阵为
????
?
?????+-++-++-++-++-=∑-12671.313815.212955.713815.214158.213099.612955.713099.613724.11
E E E E E E E E E .
于是马氏距离为
=
AB d []6875.52217502217501-=??
??
?
?????∑-.
这是一个复数的距离。由此可见，马氏距离不是在任何时候都可以在实数域取得的。
马氏距离具有如下优点：a 排除了指标间的相关性干扰；b 不受指标量纲的影响；c 对原数据进行线性变换之后，马氏距离不变。
⑷ 兰氏距离（Canberra 距离）
由Lance 和Williams 最早提出，定义如下：
∑=+-=m j i j i ij x x x x m d 11αα
αα
α. (3-3-21)
对于前面的例子，我们有
[]221750)(=-ααj i x x , []208103270)(=+ααj i x x
于是得到兰氏距离
340.0)208
221031727050(31=++=
AB d . (3-3-22) 兰氏距离的有缺点如下：
优点：有助于克服各指标间的量纲的影响；
缺点：a 仅适用于x ij >0的情况；b 没有考虑指标之间的相关性。
⑸ 自定义距离（customized distance ）
在一些统计软件如SPSS 中，可以根据研究的实际需要自己定义一个距离，定义的依据当然是距离公理，一般的自定义距离公式如下：
r m
k p
jk ik ij x x q d /11
][)(∑=-=, (n j i ,,2,1, =) (3-3-23)
在统计软件中，允许适当地自主选择定义距离的参数，例如在SPSS 中，选择自定义距离时，默认的幂（power, p ）和根（root, r ）为p =2，r =2，此时相当于欧式距离。但用户可以在1~4之间选择p 值和r 值，如取p =3，r =4，从而定义自己的距离，如何定义取决研究问题的特性和需要，这要求对距离概念具有较深的理解，否则还是采用比较熟悉的距离公式。
3 距离矩阵
设样本x i 与x j 之间的距离为d ij ，可得距离矩阵
?
?
???
???????=nn n n n n d d d d d d d d d D 2
1
22221
11211. (3-3-24) 距离ij d 值越小，i x 与j x 越接近。例如，不管采用何种距离，前面三个城市之间两两距离求出之后，都可以构造一个距离矩阵
??????????=CC CB
CA
BC BB BA
AC AB
AA d d d d d d d d d D ????
??????=000
CB
CA
BC BA
AC AB
d d d d d d . (3-3-25)
4 相似系数
相似系数包括两种相似的表示方法，即夹角余弦和相似系数。分别说明如下： ⑴ 夹角余弦（Cosin ）
∑∑∑====
m
j
m i
m
j
i
ij x x x x 1
1
1
cos α
αααα
ααθ, (1cos 1≤≤-ij θ). (3-3-26)
⑵ 相似系数(Pearson correlation)
∑∑∑===----=
m
j j
m
i
i
m
j j
i
i
ij x x x x x x x x S 1
2
1
2
1)()()
)((α
αααα
αα, (11≤≤-ij S ) (3-3-27)
当数据标准化以后，就有
ij ij S θcos =. (3-3-28)
3 系统聚类的八种方法
聚类分析不仅要甄别距离，而且要遴选方法。不同距离与方法的组合可以得到许多聚类
途径。以SPSS 软件为例，一共给了8种距离，7种方法，因此至少有7×8=56距离方式——考虑到自定义距离，则聚类途径还要多。但是，考虑到我们的研究对象的性质和聚类目标之后，可供选择的途径并不太多。这就要求我们熟悉各种的距离的有缺点和聚类方法的基本思路。
⑴ 最短距离法（Nearest neighbor ）
考虑n 个样本构成的距离矩阵，定义G i 与G j 之间的距离为两类最近样品的距离，即
ij G X G X ij d D j
j i i ∈∈=
,min
. (3-3-29)
现在设G p 与G q 合并为一个新类记为G r ，则任意一类G k 与G r 的距离为
),min()min
,
min
min(
min
,,,kq kp ij G X G X ij X X G X ij G X G X kr D D d d d D q
j k i p
j k i j
j i i ===
∈∈∈∈∈∈. (3-3-30)
下面用实例说明最短距离法聚类的一般步骤和方法。例子是引进日本福冈甜桔，候选地点为：合肥、武汉、长沙、桂林、温州、成都……；变量有5个：年平均气温，年平均降雨量，年日照时数，年极端最低温，一月份平均气温。原始数据见下表（表3-3-4）：
表3-3-4 七个地点五种变量的数据
变量 福岗 合肥 武汉 长沙 桂林 温州 成都 年平均气温 16.2 15.7 16.3 17.2 18.8 17.9 16.3 年平均降雨量 1492 970 1260 1422 1874 1698 976 年日照时数 2000 2209 2085 1726 1709 1848 1239 年极端最低气温 -8.2 -20.6 -17.3 -9.5 -4.9 -4.5 -4.6 一月份平均气温
6.2
1.9
2.8
4.6
8
7.5
5.6
来源：贺仲雄，王伟.决策科学：从最优到满意.重庆：重庆出版社，1988，p190。作者采用模糊数学中的“相似优先法”处理这个问题，我们采用距离处理同一组数据，并与相似优先法的结果比较。
采用最短距离法聚类的过程如下：
① 计算样本之间两两距离，建立欧式距离矩阵D 。由于对称性，可以只写出下三角部分。对样本进行编号，记为1～7:
②找出非对角线元素的最小值，d56=224.27，将第5个样本与第6个样本合并。首先合并第5列和第6列，保留最短距离944.55。合并方法可以在Word的表格中采用合并单元格的方式。
然后合并第5行和第6行，原则依然是“两数相遇取其短”。
将合并的结果记为第8类，见下表：
③在前述合并结果中找出对角线以外的最小距离，得到d13=247.27。然后重复上述合并过程。为了直观，首先将第3列剪贴到第2列的后面：
将对角线以上的元素剪贴到对角线下对称的位置，然后合并列。为直观，不妨抹去较大的数：
④在第二次合并的结果中找到最小距离d89=256.04，重复前述合并过程。为了直观，首先将第8列剪贴到第9列后面，然后将第8行剪贴到第9行的后面：
将出现在对角线以上的数据剪贴到对角线一线对应的单元格中：
逐行按列合并单元格：
逐列按行合并单元格，将合并结果记为第10类：
⑤在第三步合并的结果中，找到最小距离d4,10=282.81，然后重复上述合并过程。首先将第4行第4列剪贴到第10行第10列之下（后）：
将对角线以上的数据661.61剪贴到对角线以下对应的位置：
先合并列，再合并行，将结果记为第11类：
⑥在第四步合并的结果中，找到最小距离d2,11=315.42，然后重复上述合并过程。先合并列，后合并行，将结果记为第12类：
⑦最后一步合并，非常明显：将第7类成都合并到前述结果中，记为第13类：
⑧总结合并的过程及其对应的最小距离：
表3-3-5 最小距离法聚类过程总结
根据总结的步骤绘出聚类结果的谱系图。下图由Matlab给出（图3-3-3）：
1eá????Y ?￡????oo3¤é3o?·ê3é??
图3-3-3 基于欧式距离和最短距离法的聚类谱系图
⑵最长距离法（Furthest neighbor）
考虑n个样本构成的距离矩阵，定义G i与G j之间的距离为两类最近样品的距离，即
ij G X G X ij d D j
j i i ∈∈=
,max
. (3-3-31)
现在设G p 与G q 合并为一个新类记为G r ，则任意一类G k 与G r 的距离为
),max()max
,
max
max(
max
,,,kq kp ij G X G X ij X X G X ij G X G X kr D D d d d D q
j k i p
j k i j
j i i ===
∈∈∈∈∈∈. (3-3-32)
仍用前例说明利用最长距离法聚类的一般步骤和方法。
在距离矩阵中，找出非对角线元素的最小值，d 56=224.27，将第5个样本与第6个样本合并。
首先合并第5列和第6列，保留最长距离1013.57。
然后合并第5行和第6行，保留最长距离。将合并结果记为第8类：
后面的过程与最短距离法完全一样，只不过是每次保留较长距离，即合并单元格时，遵循“两数相遇取其大”的原则。最后可得距离谱系图如下（图3-3-4）：
图3-3-4 基于欧式距离和最长距离法的聚类结果
对比可知，对于本例而言，基于最短距离法与最长距离法的聚类结果完全一样。但它们给出的结果与基于模糊数学相似优先法的结果相差较远。实际上，但我们采用相似系数代替距离，而聚类方法采用最短距离法时，由SPSS给出聚类谱系图如下（图3-3-5）。显然，这正是我们在本节开头给出的一种结果（图3-3-1）：这时与相似优先法的结论基本一致。
图3-3-4 基于相似系数和最短距离法的聚类结果
⑶其它方法
其它的集中聚类方法包括：①中间距离法(Median clustering)；④重心法（Centroid clustering）；⑤类平均法（Between-groups linkage）；⑥可变类平均法；⑦可变法；
⑧离差平方和法。限于篇幅和时间，不再一一讲述。大家很容易根据前面几种方法举一反三，触类旁通。
参考文献
1.矫希国，孙凤兴，等编. 多元统计分析方法. 长春：吉林大学出版社，1993
2.任若恩，王惠文著.多元统计数据分析——理论、方法、实例.北京：国防工业出版社，
1997
3.于秀林，任雪松编著.多元统计分析. 北京：中国统计出版社，1999
4.张超，杨秉赓．计量地理学基础（第1\2版）．北京：高等教育出版社，1985\2002
5.施妙根，顾丽珍．科学和工程计算基础．北京：清华大学出版社，1999\2002
6.贺仲雄，王伟．决策科学：从最优到满意．重庆：重庆出版社，1988
一、判断题 （ 对 ） 1 X ( X 1 , X 2 ,L , X p ) 的协差阵一定是对称的半正定阵 （ 对 （ ） 2 标准化随机向量的协差阵与原变量的相关系数阵相同。 对） 3 典型相关分析是识别并量化两组变量间的关系，将两组变量的相关关系 的研究转化为一组变量的线性组合与另一组变量的线性组合间的相关关系的研究。 （ 对 ）4 多维标度法是以空间分布的形式在低维空间中再现研究对象间关系的数据 分析方法。 （ 错）5 X (X 1 , X 2 , , X p ) ~ N p ( , ) ， X , S 分别是样本均值和样本离 差阵，则 X , S 分别是 , 的无偏估计。 n （ 对） 6 X ( X 1 , X 2 , , X p ) ~ N p ( , ) ， X 作为样本均值 的估计，是 无偏的、有效的、一致的。 （ 错） 7 因子载荷经正交旋转后，各变量的共性方差和各因子的贡献都发生了变化 （ 对） 8 因子载荷阵 A ( ij ) ij 表示第 i 个变量在第 j 个公因子上 a 中的 a 的相对重要性。 （ 对 ）9 判别分析中， 若两个总体的协差阵相等， 则 Fisher 判别与距离判别等价。 （对） 10 距离判别法要求两总体分布的协差阵相等， Fisher 判别法对总体的分布无特 定的要求。 二、填空题 1、多元统计中常用的统计量有：样本均值向量、样本协差阵、样本离差阵、 样本相关系数矩阵． 2、 设 是总体 的协方差阵， 的特征根 ( 1, , ) 与相应的单 X ( X 1,L , X m ) i i L m 位 正 交 化 特 征 向 量 i ( a i1, a i 2 ,L ,a im ) ， 则 第 一 主 成 分 的 表 达 式 是 y 1 a 11 X 1 a 12 X 2 L a 1m X m ，方差为 1 。 3 设 是总体 X ( X 1, X 2 , X 3, X 4 ) 的协方差阵， 的特征根和标准正交特征向量分别 为： 1 2.920 U 1' (0.1485, 0.5735, 0.5577, 0.5814) 2 1.024 U 2' (0.9544, 0.0984,0.2695,0.0824) 3 0.049 U 3' (0.2516,0.7733, 0.5589, 0.1624) 4 0.007 U 4' ( 0.0612,0.2519,0.5513, 0.7930) ，则其第二个主成分的表达式是
第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章：
二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . )' ,...,,(),,,(2121P p EX EX EX EX μμμ='= )' )((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ) ,(~∑μP N X μ ∑ p X X X ,,,21
特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 μ ) ,(~∑μP N X ) ,('A A d A N s ∑+μ) () 1(,,n X X X )' ,,,(21p X X X )' )(() () (1 X X X X i i n i --∑=n 1 X μ∑μ X ) 1 , (~∑n N X P μ) ,1(∑-n W p X X
第3章 多元正态总体的假设检验与方差分析 从本章开始，我们开始转入多元统计方法和统计模型的学习。统计学分析处理的对象是带有随机性的数据。按照随机排列、重复、局部控制、正交等原则设计一个试验，通过试验结果形成样本信息（通常以数据的形式），再根据样本进行统计推断，是自然科学和工程技术领域常用的一种研究方法。由于试验指标常为多个数量指标，故常设试验结果所形成的总体为多元正态总体，这是本章理论方法研究的出发点。 所谓统计推断就是根据从总体中观测到的部分数据对总体中我们感兴趣的未知部分作出推测，这种推测必然伴有某种程度的不确定性，需要用概率来表明其可靠程度。统计推断的任务是“观察现象，提取信息，建立模型，作出推断”。 统计推断有参数估计和假设检验两大类问题，其统计推断目的不同。参数估计问题回答诸如“未知参数θ的值有多大?”之类的问题,而假设检验回答诸如“未知参数θ的值是0θ吗?”之类的问题。本章主要讨论多元正态总体的假设检验方法及其实际应用，我们将对一元正态总体情形作一简单回顾，然后将介绍单个总体均值的推断， 两个总体均值的比较推断，多个总体均值的比较检验和协方差阵的推断等。 3.1一元正态总体情形的回顾 一、 假设检验 在假设检验问题中通常有两个统计假设（简称假设）,一个作为原假设（或称零假设），另一个作为备择假设（或称对立假设），分别记为0H 和1H 。 1、显著性检验 为便于表述，假定考虑假设检验问题：设1X ，2X ，…,n X 来自总体),(2 σμN 的样本，我们要检验假设 100:,:μμμμ≠=H H （3.1） 原假设0H 与备择假设1H 应相互排斥，两者有且只有一个正确。备择假设的意思是，一旦否定原假设0H ，我们就选择已准备的假设1H 。 当2 σ已知时，用统计量n X z σ μ -=
练习题 一、填空题 1．人们通过各种实践，发现变量之间的相互关系可以分成（相关）和（不相关）两种类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。 2．总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。3．回归方程显著性检验时通常采用的统计量是（S R/p）/[S E/（n-p-1）]。 4．偏相关系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的）的相关系数。 5．Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。 6．主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求（降维）的一种方法。 7．主成分分析的基本思想是（设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来替代原来的指标）。 8．主成分表达式的系数向量是（相关系数矩阵）的特征向量。 9．样本主成分的总方差等于（1）。 10．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相关矩阵特征值）的特征向量。 11．SPSS中主成分分析采用（analyze—data reduction—facyor）命令过程。 12．因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部分为（特殊因子）。 13．变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14．公共因子方差与特殊因子方差之和为（1）。 15．聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏程度）进行科学的分类。 16．Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17．Q型聚类统计量是（距离），而R型聚类统计量通常采用（相关系数）。 18．六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19．快速聚类在SPSS中由（k-均值聚类（analyze—classify—k means cluster））过程实现。 20．判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21．用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22．进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有（Fisher准则）、（贝叶斯准则）。 23．类内样本点接近，类间样本点疏远的性质，可以通过（类与类之间的距离）与（类内样本的距离）的大小差异表现出来，而两者的比值能把不同的类区别开来。这个比值越大，说明类与类间的差异越（类与类之间的距离越大），分类效果越（好）。24．Fisher判别法就是要找一个由p个变量组成的（线性判别函数），使得各自组内点的
多元统计分析课程设计 题目：《因子分析在环境污染方面的应用》 姓名：王厅厅 专业班级：统计学2014级2班 学院：数学与系统科学学院 时间：2016年1月 3 日
目录 1.摘要: (1) 2.引言： (1) 背景 (1) 问题的研究意义 (1) 方法介绍 (2) 3.实证分析 (10) 指标 (10) 原始数据 (10) 数据来源 (13) 分析过程： (13) 4.结论及建议 (25) 5.参考文献 (26)
1.摘要: 中国的环境问题，由于中国政府对环境问题的关注，环境法律日趋完善，执法力度加大，对环境污染治理的投人逐年有较大幅度的增加，中国环境问题已朝着好的方面发展。但是，仍存在着环境问题，主要体现在环境污染问题，其中主要为水污染和大气污染。 关键词：环境污染水污染大气污染因子分析2.引言： 背景： 我国的环境保护取得了明显的成就，部分地区环境质量有所改善。但是，从整体上看，我国的环境污染仍在加剧，环境质量还在恶化。大气二氧化硫含量居高不下，境质量呈恶化趋势，固体废弃物污染量大面广，噪声扰民严重，环境污染事故时有发生。据中国社会科学院公布的一项报告表明：中国环境污染的规模居世界前列。 问题的研究意义： 为分析比较各地环境污染特点，利用因子分析对环境污染的各个指标进行降维处理并得到影响环境的内在因素，进一步对环境污染
原因及治理措施进行分析，让更多的人认识到环境的重要性，准确把握各地区环境治理方法以及针对不同地区制定不同的政策改善环境问题，这对综合治理环境问题具有重要意义。 方法介绍 因子分析的意义：变量间的信息的高度重叠和高度相关会给统计方法的应用设置许多障碍。为解决此问题，最简单和最直接的解决方案是削减变量个数，但这必然会导致信息丢失和 信息不完全等问题的产生。为此人们希望探索一种更有效地解决方法，它既能大幅减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。因子分析正是这样一种能够有效降低变量维数的分析方法。 因子分析的步骤： ·因子分析的前提条件：要求原有变量之间存在较强的相关关系。 ·因子提取：将原有变量综合成少数几个因子是因子分析的核心内容。 若存在随机向量 ) (),,(1p q F F F q ≤'=Λ及 ),,(1' =p εεεΛ，使 ??????????+??????????????????? ?=??????????p q pq p q p F F a a a a X X εεM M ΛM M ΛM 1111111 简记为ε+=AF X ，且 （1） q I F D F E ==)(,0)(（标准化）；
实用多元统计分析相 尖习题 练习题 一、填空题 1?人们通过各种实践，发现变量之间的相互矢系可以分成（相尖）和（不相尖）两种 类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相尖系数。 2?总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。 3 ?回归方程显著性检验时通常采用的统计量是（S R/P）/[S E/ （n-p-1） ]O 4?偏相尖系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的） 的相尖系数。 5. Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。
6 ?主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求 （降维）的一种方法。 7 ?主成分分析的基本思想是（设法将原来众多具有一定相尖性（比如P个指标），重 新组合成一组新的互相无矢的综合指标来替代原来的指标）。 8 ?主成分表达式的系数向量是（相尖系数矩阵）的特征向量。 9 ?样本主成分的总方差等于（1）。 10 ?在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相尖矩阵特征值）的特征向量。 11. SPSS 中主成分分析采用（analyze—data reduction — facyor）命令过程。 12?因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部
分为（特殊因子）。 13 ?变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14 ?公共因子方差与特殊因子方差之和为（1） o 15 ?聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏 程度）进行科学的分类。 16. Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17. Q型聚类统计量是（距离），而R型聚类统计量通常采用（相尖系数）。 18. 六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19?快速聚类在SPSS中由（k■均值聚类（analyze— classify— k means cluste））过程实 现。 20. 判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21. 用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22. 进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有 （Fisher准则）、（贝叶斯准则）。 23. 类内样本点接近，类间样本点疏
第三篇 多元统计分析作业题 1 证明题 1）已知ψ==A X E X Z T T T ，这里用到关系1-ψ=E A 。以二变量为例证明： 12*-Λ=ψ=A X A X Z T T T 1)(-=T T A X 。 式中X 为标准化原始变量矩阵，A 为载荷矩阵，Z 为非标准化主成分得分，Z *为标准化的因子得分，E 为单位化特征向量构成的矩阵即正交矩阵，Ψ为特征根的平方根的倒数构成的对角阵，Λ为特征根构成的对角阵，对于二变量有 ?????? ??=ψ21 /10 /1λλ, ?? ? ???=Λ21 00λλ. 2）对于二变量因子模型，我们有 ?? ?++=++=222221122 112211111εεu f a f a x u f a f a x . 试以 x 1为例证明1 2 22==+j x j j u h σ ，这里∑== p k kj j a h 1 2 22 21 211a a +=。 2 计算题 1）现有一组古生物腕足动物贝壳标本的两个变量：长度x 1和宽度x 2。所测数据如下（表2.1）。 要求： ① 利用Excel 对数据进行主成分分析。 ② 借助SPSS 对该数据进行主成分分析，并计算结果与Excel 的计算结果进行对比，理解各个表格所给参数的含义。 ③ 用本例数据验证证明题?的推导结果。 表2.1 古生物腕足动物贝壳标本数据 样品编号 长度x 1 宽度x 2 样品编号 长度x 1 宽度x 2 1 3 2 14 12 10 2 4 10 15 12 11 3 6 5 16 13 6 4 6 8 17 13 14 5 6 10 18 13 15 6 7 2 19 13 17 7 7 13 20 14 7 8 8 9 21 15 13 9 9 5 22 17 13
６５ 《商场现代化》２００６年１０月（上旬刊）总第４８１期 一、引言 多元统计分析是统计学中一个非常重要的分支。在国外，从２０世纪３０年代起，已开始在自然科学、管理科学、社会和经济等领域广泛应用。我国自２０世纪８０年代起在许多领域拉开了多元统计分析应用的帷幕，２０多年来在多元统计分析的理论研究和应用上取得了很显著的成绩。 在商业企业经营过程中，往往需要对诸如产品销售收入、产品销售成本、产品销售费用、产品销售税金及附加、产品销售利润、管理费用、利润总额、利税总额等变量进行分析和研究，如何同时对多个变量的观测数据进行有效的分析和研究，这就需要利用多元统计分析方法来解决，通过对多个变量观察数据的分析，来研究变量之间的相互关系以及揭示这些变量之间内在的变化规律。实践证明，多元分析是实现做定量分析的有效工具。 二、多元统计分析研究的主要内容 在当前科技和经济迅速发展的今天，在国民经济许多领域中，特别是对社会现象的分析，只停留在定性分析的基础上是不够的，为提高科学性、可靠性，通常需要定性和定量的分析。如果说一元统计方法是研究一个随机变量统计科学的规律，那么多元统计分析方法是研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学科。同时，利用多元统计分析中不同的方法可以对研究对象进行分类和简化。 多元统计分析包括的主要内容有：聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析等。 三、多元统计分析方法在商业企业中的应用 在这里，重点研究聚类分析、判别分析、主成分分析、因子分析方法及其在商业企业中的应用。 １．聚类分析 随着生产技术和科学的发展，人类的认识不断加深，分类越来越细，要求也越来越高，光凭经验和专业知识是不能确切分类的，往往需要定量和定性的分析结合起来去分类，于是数学工具逐渐被引进分类学中，形成了数值分类学。后来随着多元分析的引进，聚类分析逐渐从数值分类学中脱离出来而形成一个相对独 立的分支。 聚类分析又称群分析，它是研究分类问题的一种多元统计方 法。所谓类，通俗地说，就是指相似元素的集合。聚类分析的基本思想是首先将每个样本当作一类，然后根据样本之间的相似程度并类，并计算新类与其它类之间的距离，再选择相近者并类，每合并一次减少一类，继续这一过程，直到所有样本都并成一类为止。所以，聚类分析依赖于对观测间的接近程度（距离）或相似程度的理解，定义不同的距离量度和相似性量度就可以产生不同的聚类结果。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。 在企业销售领域，销售商需要考虑对不同生产企业生产的同名称商品的分类问题。例如，某商场对销售的２０种啤酒进行分类，以便对不同类别的啤酒采用不同的销售策略，变量包括啤酒名称、热量卡路里、钠含量、酒精含量、价格。根据以上指标， 利用聚类分析可以实现把同一类型的啤酒企业归到同一类别。再如商业企业制定商品销售价格时，需要对某个大城市的物价指数进行考察，而物价指数很多，有农用生产物价指数、服务项目物价指数、食品消费物价指数、零售价格指数等等。由于要考察的价格指数很多，通常先对这些价格指数利用聚类分析方法进行分类。 ２．判别分析 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。判别分析是判断样品所属类型的一种多元统计分析方法，其目的是对已知分类的数据，建立由数值指标构成的分类规则，然后把这样的规则应用到未知分类的样本中去分类。 判别分析与聚类分析不同。判别分析是已知研究对象分成若干类型并取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分析。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体所用的模型来分，有线性判别和非线性判别；按判别式所处理的变量方法不同，又分逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Ｆｉｓｈｅｒ准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等。 商业企业在市场预测中，往往根据以往所调查的种种指标，用判别分析方法判断下季度是畅销、平销或滞销。当然，判别分析与聚类分析常常联合起来使用。在聚类分析中，某商场对销售的２０种啤酒进行分类，假定分类结果为一级品、二级品及三级品，现在判断某种新商标的啤酒属于哪个级别的产品就需要用判别分析。 ３．主成分分析 在实际问题中，研究多指标（变量）问题是经常遇到的，然而在多数情况下，不同指标之间有一定相关性。由于指标较多，再加上指标之间有一定的相关性，势必增加了分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标，尽可能多地反映原来指标的信息，这种将多个指标化为少数相互无关的综合指标的统计方法，叫做主成分分析 多元统计分析方法在商业企业中的应用 党 玮 石河子大学商学院 ［摘 要］ 随着市场经济的发展和竞争的日益激烈，如何运用科学的分析方法，对收集到的数据做出准确、及时的分析并制定正确的决策，已成为企业极为关注的问题。本文重点介绍了多元统计分析方法中的聚类分析、判别分析、主成分分析、因子分析及其在商业企业中的应用。 ［关键词］ 多元统计 分析方法 商业企业
第三章 多元正态分布 多元正态分布是一元正态分布在多元情形下的直接推广，一元正态分布在统计学理论和应用方面有着十分重要的地位，同样，多元正态分布在多元统计学中也占有相当重要的地位。多元分析中的许多理论都是建立在多元正态分布基础上的，要学好多元统计分析，首先要熟悉多元正态分布及其性质。 第一节 一元统计分析中的有关概念 多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，学习多元统计分析，首先要对随机向量和随机矩阵有所把握，为了学习的方便，先对一元统计分析中的有关概念和性质加以复习，并在此基础上推广给出多元统计分析中相应的概念和性质。 一、随机变量及概率分布函数 （一）随机变量 随机变量是随机事件的数量表现，可用X 、Y 等表示。随机变量X 有两个特点：一是取值的随机性，即事先不能够确定X 取哪个数值；二是取值的统计规律性，即完全可以确定X 取某个值或X 在某个区间取值的概率。 (二)随机变量的概率分布函数 随机变量X 的概率分布函数，简称为分布函数，其定义为： )()(x X P x F ≤= 随机变量有离散型随机变量和连续型随机变量，相对应的概率分布就有离散型概率分布和连续型概率分布。 1、离散型随机变量的概率分布 若随机变量X 在有限个或可列个值上取值，则称X 为离散型随机变量。 设X 为离散型随机变量，可能取值为1x ，2x ，…，取这些值的概率分别为1p ，2p ，…， 记为 k k p x X P ==)(（Λ,2,1=k ） 称k k p x X P ==)(（Λ,2,1=k ）为离散型随机变量X 的概率分布。 离散型随机变量的概率分布具有两个性质： （1） 0≥k p ，Λ,2,1=k （2）11 =∑ ∞ =k k p 2、连续型随机变量的概率分布 若随机变量X 的分布函数可以表示为 dt t f x F x ?∞-=)()( 对一切R x ∈都成立，则称X 为连续型随机变量，称 )(x f 为X 的概率分布密度函数，简
多元统计分析重点宿舍版 第一讲：多元统计方法及应用；多元统计方法分类（按变量、模型、因变量等） 多元统计分析应用 选择题：①数据或结构性简化运用的方法有：多元回归分析，聚类分析，主成分分析，因子分析 ②分类和组合运用的方法有：判别分析，聚类分析，主成分分析 ③变量之间的相关关系运用的方法有：多元回归，主成分分析，因子分析， ④预测与决策运用的方法有：多元回归，判别分析，聚类分析 ⑤横贯数据：{因果模型(因变量数)：多元回归，判别分析相依模型(变量测度)：因子分析，聚类分析 多元统计分析方法 选择题：①多元统计方法的分类：1）按测量数据的来源分为：横贯数据（同一时间不同案例的观测数据），纵观数据（同样案例在不同时间的多次观测数据） 2）按变量的测度等级（数据类型）分为：类别（非测量型）变量，数值型（测量型）变量 3）按分析模型的属性分为：因果模型，相依模型 4）按模型中因变量的数量分为：单因变量模型，多因变量模型，多层因果模型 第二讲：计算均值、协差阵、相关阵；相互独立性 第三讲：主成分定义、应用及基本思想，主成分性质，主成分分析步骤 主成分定义：何谓主成分分析 就是将原来的多个指标（变量）线性组合成几个新的相互无关的综合指标（主成分），并使新的综合指标尽可能多地反映原来的指标信息。 主成分分析的应用 ：（1）数据的压缩、结构的简化；（2）样品的综合评价，排序 主成分分析概述——思想：①（1）把给定的一组变量X1,X2,…XP ,通过线性变换，转换为一组不相关的变量Y1，Y2，…YP 。（2）在这种变换中，保持变量的总方差（X1，X2，…Xp 的方差之和）不变，同时，使Y1具有最大方差，称为第一主成分；Y2具有次大方差，称为第二主成分。依次类推，原来有P 个变量，就可以转换出P 个主
多元统计分析第三章假设检验与方差分析
第3章 多元正态总体的假设检验与方差分析 从本章开始，我们开始转入多元统计方法和统计模型的学习。统计学分析处理的对象是带有随机性的数据。按照随机排列、重复、局部控制、正交等原则设计一个试验，通过试验结果形成样本信息（通常以数据的形式），再根据样本进行统计推断，是自然科学和工程技术领域常用的一种研究方法。由于试验指标常为多个数量指标，故常设试验结果所形成的总体为多元正态总体，这是本章理论方法研究的出发点。 所谓统计推断就是根据从总体中观测到的部分数据对总体中我们感兴趣的未知部分作出推测，这种推测必然伴有某种程度的不确定性，需要用概率来表明其可靠程度。统计推断的任务是“观察现象，提取信息，建立模型，作出推断”。 统计推断有参数估计和假设检验两大类问题，其统计推断目的不同。参数估计问题回答诸如“未知参数θ的值有多大?”之类的问题,而假设检验回答诸如“未知参数θ的值是0θ吗?”之类的问题。本章主要讨论多元正态总体的假设检验方法及其实际应用，我们将对一元正态总体情形作一简单回顾，然后将介绍单个总体均值的推断， 两个总体均值的比较推断，多个总体均值的比较检验和协方差阵的推断等。 3.1一元正态总体情形的回顾 一、 假设检验 在假设检验问题中通常有两个统计假设（简称假设）,一个作为原假设（或称零假设），另一个作为备择假设（或称对立假设），分别记为0H 和1H 。 1、显著性检验 为便于表述，假定考虑假设检验问题：设1X ，2X ，…,n X 来自总体),(2 σμN 的样本，我们要检验假设 100:,:μμμμ≠=H H （3.1） 原假设0H 与备择假设1H 应相互排斥，两者有且只有一个正确。备择假设的意思是，一旦否定原假设0H ，我们就选择已准备的假设1H 。 当2 σ已知时，用统计量n X z σ μ -=
多元统计分析有哪些应用? 比较 关系 预测 分类 评价 各种应用对应的多元统计分析方法 比较：多元方差分析 关系：回归模型 预测：回归模型 分类：聚类分析与判别分析、回归模型 评价：主成分分析与因子分析 ?多元回归、logisitic回归、Cox回归、Poisson回归 多元统计分析方法主要内容 多元T检验、多元方差分析 ?Hotelling T2 ?multivariate analysis of variance (MANOV A) 多元线性回归(multivariate linear regression) logistic回归(logistic regression) Cox比例风险模型(Cox model) Poisson回归(Poisson regression) 聚类分析(cluster analysis) 判别分析(discriminant analysis) 主成分分析和因子分析 生存分析 本课程的要求 上机做练习，分析实际资料 学会看文献，判断统计分析的应用是否正确 统计软件SAS，或Stata, SPSS10.01 考试： 理论占30%，实验占70% 二、多元统计分析的基本概念 研究因素从广义的角度看，所有可以测量的变量都可以成为研究因素，比如：年 龄、性别、文化程度、人体的各种生物学特征和生理生化指标环境因素、心理因素等。狭义来看，研究因素是指可能与研究目的有关的影响因素 多元统计分析对多变量样本的要求 ①分布：多元正态分布、相互独立、多元方差齐 ②样本含量 目前尚没有多元分析的样本含量估计方法，一般认为样本含量应超过研究因素5-10倍以上即可。 数值变量→分类成有序分类变量 哑变量的数量=K-1（K为分类数）
第三章多元统计分析 §4 聚类分析 分类是人类认识世界的方式，也是管理世界的有效手段。在科学研究中非常重要，许多科学的研究都是从分类研究出发的。没有分类就没有效率；没有分类，这个世界就没有秩序。瑞典博物学家林奈（Carl von Linnaeus, 1707-1778）因为对植物的分类成就被后人誉为“分类学之父”，后人评价说“上帝创世，林奈分类”——能与上帝的名字并列的人不多，另一个著名的科学家是牛顿。由此可见分类成果的重要性。最初分类都是定性了，后来随着科学的发展产生了定量分类技术，包括基于统计学的聚类方法和基于模糊数学的聚类技巧。本节主要讲述统计学意义的数字分类方法思想和过程。 1 聚类的分类 分类研究的成果的重要性决定了方法的重大实践意义。在任何一门语言的语法学中，都要对词词汇进行分类，词汇分类可以根据词性：名词，动词，形容词……；英文还可以根据首字母分类：ABCD……；汉字则还可以根据笔划，如此等等。在生物学中，将生物划分为：界，门，纲，目，科，属，种。例如白菜（种）属于油菜属、十字花科、十字花目、双子叶植物纲、被子植物亚门、种子植物门、植物界；老虎（种）则属于猫属、猫科、食肉目、哺乳动物纲、脊椎动物亚门、脊索动物门、动物界。这样，整个世界的生物就可以建立一个等级谱系，根据这个谱系，我们可以比较容易地判断那些生物已经认识了，哪些生物尚未发现，哪些生物已经灭绝了。如果发现了新的生物，就可以方便地将其归类。在天文学中，天体可以根据视觉区域分类，也可以根据发光性质与光谱特征进行分类。在地理学中，城市既可以根据地域空间分类，也可以根据城市的职能进行分类。 表3-3-1 各种生物在分类学上的位置举例 位置白菜虎 界植物界动物界 门种子植物门脊索动物门 亚门被子植物亚门脊椎动物亚门 纲双子叶植物纲哺乳动物纲 目十字花目食肉目 科十字花科猫科 属油菜属猫属 种白菜虎 当我们走进一家图书馆，如果它们的图书没有分类编目，我们要找到一本图书与大海捞针没有什么区别。分类的方式也会影响工作的效率。书店的图书一般根据科学门类进行分类摆设，但有一段时间一家书店改为按照出版单位进行分类排列，结果读者很难找到所需图书，这家原本效益挺好的书店很快收到了消极影响。 早期的分类，一般根据事物的属性与特征进行划分，属于定性分类的范畴。随着人们认识的深入和研究对象复杂程度的增加，单纯的定性分类方法就不能满足要求了，于是产生了定量分类技术，即所谓数字分类。本节要讲述的就是根据多个指标进行数字分类的一种多元
1、简述多元统计分析中协差阵检验的步骤 第一，提出待检验的假设H0和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 协差阵的检验 检验0=ΣΣ 0p H =ΣI ： /2/21exp 2np n e tr n λ????=-?? ?????S S 00p H =≠ΣΣI ： /2/2**1exp 2np n e tr n λ????=-?? ????? S S 检验12k ===ΣΣΣ012k H ===ΣΣΣ： 统计量/2/2/2/211i i k k n n pn np k i i i i n n λ===∏∏S S 2. 针对一个总体均值向量的检验而言，在协差阵已知和未知的两种情形下，如何分别构造的统计量？ 3. 作多元线性回归分析时，自变量与因变量之间的影响关系一定是线性形式的吗？多元线性回归分析中的线性关系是指什么变量之间存在线性关系？ 答：作多元线性回归分析时，自变量与因变量之间的影响关系不一定是线性形式。当自变量与因变量是非线性关系时可以通过某种变量代换，将其变为线性关系，然后再做回归分析。 多元线性回归分析的线性关系指的是随机变量间的关系，因变量y 与回归系数βi 间存在线性关系。 多元线性回归的条件是： （1）各自变量间不存在多重共线性； （2）各自变量与残差独立； （3）各残差间相互独立并服从正态分布； （4）Y 与每一自变量X 有线性关系。 4.回归分析的基本思想与步骤 基本思想：
第七章 因子分析 7.1 试述因子分析与主成分分析的联系与区别。 答：因子分析与主成分分析的联系是：①两种分析方法都是一种降维、简化数据的技术。②两种分析的求解过程是类似的，都是从一个协方差阵出发，利用特征值、特征向量求解。因子分析可以说是主成分分析的姐妹篇，将主成分分析向前推进一步便导致因子分析。因子分析也可以说成是主成分分析的逆问题。如果说主成分分析是将原指标综合、归纳，那么因子分析可以说是将原指标给予分解、演绎。 因子分析与主成分分析的主要区别是：主成分分析本质上是一种线性变换，将原始坐标变换到变异程度大的方向上为止，突出数据变异的方向，归纳重要信息。而因子分析是从显在变量去提炼潜在因子的过程。此外，主成分分析不需要构造分析模型而因子分析要构造因子模型。 7.2 因子分析主要可应用于哪些方面？ 答：因子分析是一种通过显在变量测评潜在变量，通过具体指标测评抽象因子的统计分析方法。目前因子分析在心理学、社会学、经济学等学科中都有重要的应用。具体来说，①因子分析可以用于分类。如用考试分数将学生的学习状况予以分类；用空气中各种成分的比例对空气的优劣予以分类等等②因子分析可以用于探索潜在因素。即是探索未能观察的或不能观测的的潜在因素是什么，起的作用如何等。对我们进一步研究与探讨指示方向。在社会调查分析中十分常用。③因子分析的另一个作用是用于时空分解。如研究几个不同地点的不同日期的气象状况，就用因子分析将时间因素引起的变化和空间因素引起的变化分离开来从而判断各自的影响和变化规律。 7.3 简述因子模型中载荷矩阵A 的统计意义。 答：对于因子模型 1122i i i ij j im m i X a F a F a F a F ε=++ ++ ++ 1,2, ,i p = 因子载荷阵为1112 121 22212 12 (,, ,)m m m p p pm a a a a a a A A A a a a ????? ?==?????? ? ?A i X 与j F 的协方差为： 1Cov(,)Cov(,)m i j ik k i j k X F a F F ε==+∑ =1 Cov( ,)Cov(,)m ik k j i j k a F F F ε=+∑ =ij a 若对i X 作标准化处理，=ij a ,因此 ij a 一方面表示i X 对j F 的依赖程度；另一方面也反映了
多元统计分析读书心得 聚类分析 聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析(cluster analysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析(classification analysis)或数值分类(numerical taxonomy)。聚类分析方法认为，在所研究的统计总体中，各样品或指标(变量)之间存在着程度不同的相似性(亲琉关系)，因此可以根据一批样品的多个观测指标，具休找到一些能够度量其相似程度的统计量，并依据这些统计量完成事物的分类。具体的方法，是按样品或指标的相似性或亲疏关系，逐级地归并即聚类，每次的归并聚成一个新的类.直到把全部的样品或指标聚成一类，形成一个由小类逐步到大类的分类系统为止二若将聚类过程的结果绘成一张分类图谱并进行分析、则就可以完成整个聚类分析过程。 它的主要应用有：聚类分析在商业上被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的特征。在生物上聚类分析被用来动植物分类和对基因进行分类，获取对种群固有结构的认识。在地理上，聚类能够帮助在地球中被观察的数据库商趋于的相似性。聚类分析在因特网上被用来在网上进行文档归类来修复信息等等。 下面来简要介绍一下曲国庆和姜玉春写的聚类分析及其在土地利用分类上的应用，它利用系统聚类分析的基本原理，并根据实际的土地申报登记和土地利用的调查资料，选择反映住宅建设和占地情况的人均占地面积、平均年建房率、建设用地利用率、反映耕地分布和占有情况的人均耕地面积、当地经济状况等为聚类指标，探讨聚类分析的模式相似性测度，计算方法和步骤。这其中涉及了很多问题，如样本数据的采集、统计、标准化和样本相似度测度的选择及确定，文章最后给出了土地利用聚类分析的计算方法和步骤。 读何晓群编著的多元统计分析和张文璋编著的实用统计分析方法与SPSS应用得出的一些体会如下：在聚类分析这一章，张文璋编的多元更具有系统性和层次性，比如他将聚类分析方法用一个表格的形式表现出来，让不同方法之间的区别与联系一目了然，同时，他将理论分析和SPSS软件操作结合在一起，都进行了仔细的讲述。 回归分析 在数量分析中，我们经常会看到变量与变量之间存在着一定的联系，而不只是前面所讨论的单个变量的某些孤立的特性，如均值、方差的特性等。我们要了解的是变量之间是如何发生相互影响的，这就是所谓的相关分析和回归分析。回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法，运用十分广泛，回归分析按照涉及的自变量的多少，可
一、什么是多元统计分析 ?多元统计分析是运用数理统计的方法来研究多变量（多指标）问题的理论和方法，是一元统计学的推广。 ?多元统计分析是研究多个随机变量之间相互依赖关系以及内在统计规律的一门统计学科。 二、多元统计分析的内容和方法 ?1、简化数据结构（降维问题） 将具有错综复杂关系的多个变量综合成数量较少且互不相关的变量，使研究问题得到简化但损失的信息又不太多。 （1）主成分分析 （2）因子分析 （3）对应分析等 ?2、分类与判别（归类问题） 对所考察的变量按相似程度进行分类。 （1）聚类分析：根据分析样本的各研究变量，将性质相似的样本归为一类的方法。 （2）判别分析：判别样本应属何种类型的统计方法。 例5：根据信息基础设施的发展状况，对世界20个国家和地区进行分类。 考察指标有6个： 1、X1：每千居民拥有固定电话数目 2、X2：每千人拥有移动电话数目 3、X3：高峰时期每三分钟国际电话的成本 4、X4：每千人拥有电脑的数目 5、X5：每千人中电脑使用率 6、X6：每千人中开通互联网的人数 ?3、变量间的相互联系 一是：分析一个或几个变量的变化是否依赖另一些变量的变化。（回归分析） 二是：两组变量间的相互关系（典型相关分析） ?4、多元数据的统计推断 点估计 参数估计区间估计 统u检验 计参数t检验 推F检验 断假设相关与回归 检验卡方检验 非参秩和检验 秩相关检验 ?1、假设检验的基本原理
小概率事件原理 ? 小概率思想是指小概率事件（P<0.01或P<0.05等）在一次试验中基本上不会发生。反证法思想是先提 出假设(检验假设H0)，再用适当的统计方法确定假设成立的可能性大小，如可能性小,则认为假设不成立；反之，则认为假设成立。 ? 2、假设检验的步骤 （1）提出一个原假设和备择假设 ? 例如：要对妇女的平均身高进行检验，可以先假设妇女身高的均值等于 160 cm （u=160cm ）。这种原 假设也称为零假设（ null hypothesis ），记为 H 0 。 2.1 均值向量的检验 ? 1、正态总体均值检验的类型 ? 根据样本对其总体均值大小进行检验（ One-Sample T Test ） 如妇女身高的检验。 ? 根据来自两个总体的独立样本对其总体均值的检验（ Indepent Two-Sample T Test ） 如两个班平均成绩的检验。 ? 配对样本的检验（ Pair-Sample T Test ） 如减肥效果的检验。 ? 多个总体均值的检验 ? A 、总体方差已知 用u 检验，检验的拒绝域为 即 ? B 、总体方差未知 用样本方差 代替总体方差 ，这种检验叫t 检验. （2）根据来自两个总体的独立样本对其总体均值的检验 ? 目的是推断两个样本分别代表的总体均数是否相等。其检验过程与上述两种t 检验也没有大的差别，只 是假设的表达和t 值的计算公式不同。 ? 两样本均数比较的t 检验,其假设一般为： 12 { }W z u α- =>112 2 {} W z u z u αα - - =<->或2 s 2σ Ⅲ 0μμ= 0μμ< α--<1u z )1(1--<-n t t α