Equation Chapter 1 Section 1 Array《多元统计分析》
Multivariate Statistical Analysis
主讲：统计学院薛伟
统计学院应用统计学教研室
School of Statistics
2004年9月
第二章聚类分析
【教学目的】
1．让学生了解聚类分析的背景、基本思想；
2．掌握聚类分析的基本原理与方法；
3．掌握聚类分析的操作步骤和基本过程；
4．学会应用聚类分析解决实际问题。
【教学重点】
1．分类的统计量；
2．各种聚类分析方法的阐述。
§1 概述
一、什么是聚类分析
1．研究背景
在实际问题中，经常要遇到分类的问题。例如，在考古学中，要将某些古生物化石进行科学的分类；在生物学中，要根据各生物体的综合特征进行分类；在经济学中，为了研究不同地区城镇居民的收入及消费情况，往往需要划分为不同的类型去研究；在产品质量管理中，也要根据各产品的某些重要指标而将其分为一等品，二等品等等。总之，科学的分类方法无论在自然科学，还是在社会科学中，都有着极其广泛的应用。
俗语说，物以类聚、人以群分。但什么是分类的根据呢？比如，要想把中国的县分成若干类，就有很多种分类法；可以按照自然条件来分，比如考虑降水、土地、日照、湿度等各方面；也可以考虑收入、教育水准、医疗条件、基础设施等指标；既可以用某一项来分类，也可以同时考虑多项指标来分类。
随着人类社会的发展与科学技术的进步，对分类学的要求也越来越高。有时，只凭经验和专业知识还不能进行科学有效的分类，于是数学这一有力的工具被逐渐引入到分类学中，形成了一门新兴的学科——数值分类学。后来，随着多元分析方法的引进，从数值分析学中逐渐分离出了聚类分析这个分支。
对于一个数据，人们既可以按照观测值对变量（或指标）进行分类(相当于对数据中的列分类)，也可以按照变量对观测值（事件，样品）来分类（相当于对数据中的行分类）。比如利用学生成绩数据就可以对学生按照理科或文科成绩（或者综合考虑各科成绩）分类。当然，并不一定事先假定有多少类，完全可以按照数据本身的规律来分类。本章要介绍的分类的方法称为聚类分析（cluster analysis）。有人称按照观测值对变量的分类为R型聚类，而称按照变量对观测值的分类称为Q型聚类。这两种聚类在数学上是对称的，没有什么不同。
聚类分析就是一种分类方法，它将一批样品、变量（或指标），按照它们在性质上相似、疏远程度进行科学的分类。而度量相似或疏远程度常有两种指标：距离和相似系数。
2．基本思想
哲学理念：物以类聚、人以群分
聚类分析的基本思想是，从一批样品的多个指标变量中，定义能度量样品间或变量间相似程度（或亲疏关系）的统计量，在此基础上求出各样品（或变量）之间的相似程度度量值，按相似程度的大小，把样品（或变量）逐一分类，关系密切的类聚集到一个小的分类单位，关系疏远的类聚集到一个大的分类单位，直到所有的样品或变量都聚集完毕，把不同的类型一一划分出来，形成一个亲疏关系谱系图，用以更直观地显示分类对象（样品或变量）的差异和联系。
一开始将要归类的n个变量（或个体）各自看成一类，然后按事先规定好的方法计算各类之间的归类指标（如某种距离或相似系数），根据指标值大小衡量两两之间关系的密切程度，将关系最密切的两类并
成一类，其余不变，即得1
n-类；又按事先规定的方法重新计算各类之间的归类指标（仍为某种距离或相似系数），又将关系密切的两类并成一类，其余不变，即得2
n-类；如此进行下去，每次归类都减少一类，直到最后，n个变量（或个体）都归成一类为止。这一归类过程可以用一张聚类图（或称谱系图）形象地表示出来，由谱系图来进行分类。可以看到，这种系统归类过程，显然与计算类与类之间的归类指标是什么有关系，同时也与归类的方法有关系。
二、聚类分析方法
值得一提的是聚类分析和第三章的判别分析都是研究分类问题，但二者有本质的区别。聚类分析一般上寻求客观分类的方法，事先对总体到底有几种类型无所知晓，而判别分析则是在总体类型划分已知，在各总体分布或来自各总体训练样本的基础上，对当前的新样品用统计的方法判定它们属于哪个总体。
聚类分析的历史还很短，由于在其发展过程中首先是着重于实用，因此相对而言理论上还不够完善。无论聚类统计量还是聚类的方法，都还未最终定型。目前，聚类统计量种类繁多，聚类方法也五花八门，但由于聚类分析方法能广泛地应用于解决实际问题，它和回归分析，判别分析一起被称为多元分析的三大实用方法。
本章将重点介绍一些常见的分类统计量和目前使用较为广泛的谱系聚类方法。关于其它聚类方法，如模糊聚类法，动态聚类法，有序样品聚类法，分解法，加入法等等，可以参看其它的文献。
§2 聚类统计量
聚类分析所研究的内容包括两个方面，一是对样品进行分类，设n 个样品，每个样品均用p 个指标的观测向量(1,2,,)i x i n = 来表征，要根据i x 间某种相似性度量，将这n 个样品进行分类。如某班有n 个学生，根据每个学生的期末各科考试成绩将该班学生分类（如分为优，良，中，差四类等）。另一方面是对变量进行分类，即对所考察的p 个指标()12,,,p X X X X '= ，根据n 个观测值12(,,,)i i i pi x x x x '= (1,2,,)i n = 及某些相似性原则将这p 个变量12,,,p X X X 进行分类。如在服装设计中，往往要测量很多的指标（变量），如身高，上体长，臂长，肩宽，胸围，腰围等，有时需要对这些指标分类，以显示人体各部分的不同特点，以便于服装设计。
对样品进行分类的方法称为Q 型聚类法，所用的统计量用“距离”这一术语描述；对变量进行分类的方法，称为R 型聚类法，所用的统计量用“相似系数”描述。下面分别介绍几种常用的距离和相似系数①。
一、样品间的相似性度量——距离
我们将不区分样品与它的指标观测值。设每个样品i x 有p 个指标，它们的观测值可表示为
12(,,,)i i i pi x x x x '= (1,2,,)i n =
这时，每个样品i x 可看成p 维空间中的一个点，n 个样品就组成p 组空间中的n 个点，我们很自然地用各点之间的距离来衡量各样品之间的靠近程度。
设(,)i j d x x 为样品i x 与j x 之间的距离，则一般要求它满足下列三个条件②：
下面介绍几种聚类分析中的常用距离。 1． Minkowski 距离
1/1()0q
p
q ij ik jk k d q x x q =??=-> ?
??
∑；
（1）当1q =时，1
(1)p
ij ik jk k d x x ==-∑为绝对距离；
（2）当2q =时，1/2
21(2)p
ij ik jk k d x x =??=- ?
??
∑为欧氏距离；
（3）当q =∞时，1()max ij ik jk k p
d x x ≤≤∞=-为Chebishov 距离③。
NOTE ：明氏距离存在不足
①它与各指标的量纲有关；
②它没有考虑指标之间的相关性；
③要求一个向量的n 个分量是不相关的且具有相同的方差
若考虑p 个指标的相关性和异方差等问题，我们可以采用方差加权距离或Mahalanobis 距离。 2． 方差加权距离
① 当变量为定性变量（如性别，职业，等级）时，也可定义样品间的“距离”和变量间的“相似系数”，在此不作深入讨论。 ②
在聚类分析中，有时所用的距离并不满足第三条，我们在广义的角度上仍称它为距离。 ③
可以利用不等式的缩放技术进行证明。
1/2
221()p ik jk ij k k x x d σ=??
-= ? ???
∑ 其中，2
k σ为第k 个指标的方差。
3． Mahalanobis 距离①
()()21()ij i j i j d M x x x x -'=-∑-
其中，∑为p 个指标的协方差矩阵。实际应用中，若2k σ与∑未知，可用观测数据对其估计，一般用2?k σ和样本协方差阵S 作为其估计。
4． 兰氏（Lance-Williams ）距离
11()p ik jk
ij k ik jk
x x d L p x x =-=+∑
NOTE ：此距离仅适用于一切0ij x >的情况，该距离有助于克服各指标之间量纲的影响，但没有考虑指标之间的相关性。
用聚类分析解决实际问题时，选用何种距离是十分重要的，这通常要结合有关专业的实际背景而定。距离的定义有很大的灵活性，有时可根据实际问题定义新的距离。
二、变量间的“关联性”度量——相似系数
当对p 个指标（或变量）进行聚类时，用相似系数衡量变量间的关联程度。
定义：一般地，称ij C 为变量i X 和j X 之间的相关系数，如果对一切的1,i j p ≤≤满足： ①1ij C ≤； ②1ii C =； ③ij ji C C =。
ij C 越接近于1，说明变量i X 和j X 之间的关系越密切。设()12,,,i i ni x x x ' 表示对变量(1,,)i X i p = 的n 个
观测值，常用的相似系数有： 1．夹角余弦（向量内积）
(1)cos ,1,2,,n
ki kj ij ij x
x
C i j p θ==
=∑
NOTE ：①若将变量i X 的n 个观测值()12,,,i i i ni X x x x '= 和变量j X 的n 个观测值()12,,,j j nj x x x ' 看成n 维空间中的两个向量，(1)ij C 正好是这两
个向量夹角的余弦，这个统计量在图像识别中非常有用；
②当(1)1ij C =时，说明完全相似；当(1)0ij C =时，说明完全不一样。
2．相关系数（相似系数）
从统计角度看，两个随机变量的相关系数是描述这两个变量关联性（线性关系）强弱的一个很有用的特征数字。因此，用任意两个变量的n 个观测值对其相关系数的估计可作为两个变量关联性的一种度量。其定义为
()()
(2),1,2,,n
ki
i kj j ij ij x
x x x C r i j p --==
=∑
其中，11p i ki k x x p ==∑，1
1p
j kj k x x p ==∑。
①
由印度统计学家马哈拉诺比斯于1936年引入。
A
B
C D
NOTE ：①(,1,2,,)ij r i j p = 其实就是()12,,,p X X X X '= 的样本相关矩阵中的各元素； ②ij r 就是零均值化后向量的夹角余弦；
③如果将原始数据标准化，则0i x =且0j x =，这时有cos ij ij r θ=。 3．同号率
(3),1,2,,ij n n C i j p n n +-+-
-=
=+
其中，n +为指标i X 和j X 之间相应各分量取同号的个数；n -为指标i X 和j X 之间相应各分量取异号的个数。
§3 谱系聚类法（系统聚类）
谱系聚类法是目前应用较为广泛的一种聚类方法。有关该方法的研究内容相当丰富，而且许多统计软件（如SPSS 、STATISTICA 、SAS ）中都有专门的程序。谱系聚类法是根据古老的植物分类学的思想对研究对象进行分类的一种方法。我们知道，在植物分类学中，分类的单位：门、纲、目、科、属、种，其中种是分类的基本单位。分类单位越小它所包含的植物种类就越少，植物间的共同特征就越多。利用这种分类思想，谱系聚类法首先视各样品（或变量）自成一类，然后把最相似的样品（或变量）聚为小类，再将已聚合的小类按其相似性再聚合，随着相似性的减弱，最后将一切子类都聚合到一个大类，从而得到一个按相似性大小聚结起来的一个谱系关系。
在谱系聚类法的合并过程中要涉及到两个类之间的距离（或相似系数）问题。类与类之间的距离有许多定义方式，不同的定义方式就产生了不同的谱系聚类法。本节中，我们首先引进八种类与类之间的距离，然后再详细介绍谱系聚类法。
一、类与类之间的距离
我们先就样品聚类的情形予以讨论，并为简单起见，以i,j 等分别表示样品,i j x x ，以ij d 简记样品i 与j 之间的距离(),i j d x x ，用p G 和q G 表示两个类，它们所包含的样品个数分别记为p n 和q n ，类p G 与q G 之间的距离用(),p q D G G 表示。下面给出八种最常用的类与类之间距离的定义。
1．最短距离法
（1）定义类p G 与q G 之间的距离为两类中所有样品之间距离最小者
{}min min |,i p j q
pq ij ij i p j q x G x G D d d x G x G ∈∈==∈∈
最短距离法就是以pq D 为准则进行聚类的方法。
NOTE ：类与类之间的最短距离有如下的递推公式，设r G 为由p G 与q G 合并所得，则r G 与其它类
(,)k G k p q ≠的最短距离为
{}{}{}{}
(,)min |,min min |,,min |,r k rk ij i r j k ij i p j k ij i q j k D G G D d x G x G d x G x G d x G x G ==∈∈=∈∈∈∈ {}min (,),(,)p k q k D G G D G G =
（2）基本步骤
STEP01：定义样品之间的距离，计算样品两两之间的距离，得到样本距离矩阵(0)D 。初始时，每个样本点自成一类，易见pq pq D d =。
21313212300(0)0
0n n n d D d d d d d ?? ? ?
?= ?
? ???
STEP02：选择(0)D 中非对角线最小元素①，不防设为pq pq D d =，于是将p G 与q G 类合并，记为
1n p q G G G +=
STEP03：计算新类1n G +与其它类(),k G k l m ≠的距离
{}{}{}{}
1,1min |,min min |,,min |,n k ij i n j k ij i p j k ij i q j k D d x G x G d x G x G d x G x G ++=∈∈=∈∈∈∈ {}min (,),(,)p k q k D G G D G G =
将(0)D 中的第,p q 行及,p q 列用上面公式并成一个新行新列，得到的矩阵记为(1)D 。
①
如果最小的非零元素不止一个时，对应这些最小元素的类可以同时合并。
STEP04：对(1)D ，重复上述对(0)D 的STEP02和STEP03两步得(2)D 。如此下去，直到所有的元素并成一类为止①。
（3）例子：P71例1。 2．最长距离法
（1）定义类p G 与q G 之间的距离为两类最远样本点之间的距离
{}max max |,i p j q
pq ij ij i p j q x G x G D d d x G x G ∈∈==∈∈
NOTE ：①类与类之间的最长距离有如下的递推公式，设r G 为由p G 与q G 合并所得，则r G 与其它类
(,)k G k p q ≠的最长距离可由下式递推得到
{}{}{}{}
(,)max |,max max |,,max |,r k rk ij i r j k ij i p j k ij i q j k D G G D d x G x G d x G x G d x G x G ==∈∈=∈∈∈∈ {}max (,),(,)p k q k D G G D G G =
②有两点不同：其一，类与类之间距离的定义方法不同；其二，计算新类与其它类距离所用的递推公式不同。
（2）基本步骤
基本步骤完全等同于最短距离法。只是距离是按照最远样本点计算，但聚类仍然按照距离最小的并为一类。
（3）例子：P74续例1。
3．中间距离法 （1）定义类与类之间的距离既不采用两类之间最近的距离，
也不采用两类之间最远的距离，而是采用介于两者之间的距离，故称中间距离法。
如果r p q G G G = ，则任一类k G 与新类r G 的距离公式为：
2222
1122kr kp kq pq D D D D β=
++ 104
β-≤≤②
NOTE ：①当1
4
β=-时，kr D 为三角形的中线；
②如果用最短距离法，则kr kp D D =；如果用最长距离法，则kr kq D D =。
（2）基本步骤
基本步骤完全等同于最短距离法。 （3）例子：P76续例1。 4．重心距离法
（1）定义类与类之间的距离时，为了体现每类所包含的样品个数，给出重心法。它将两类之间的距离定义两类重心③之间的距离。
设p G 与q G 合并成新类r G ，它们分别含有p n 、q n 和()r r p q n n n n =+个样本点，它们的重心分别为：p x 、
q x 和r x 。则()1
r p p q q r
x n x n x n =
+。 设某一类k G 的重心为k x ，则它与新类r G 的距离公式为：
22
2
2
p q p q kr kp kq pq r
r
r r
n n n n D D D D n n n n =
+
-
NOTE ：①当p q n n =时，该方法即为中间距离法； ②递推公式的由来详见P78。
① 在实际问题中，一般事先给定分类的数目，或给定阈值T ，要求类与类之间的距离小于T 。
②
式中采用平方距离是为了上机的方便，也可以完全不采用平方距离。 ③
每类的重心就是该类（组）样本点的均值。易见，单个样本点的重心是自身，两个样本点的重心就是两点边线中点。
G p
G q
G k G r D kq
D kp
D kr
（2）基本步骤
基本步骤完全等同于最短距离法。 （3）例子：P79续例1。 5．类平均距离法
（1）重心距离法虽然具有一定的代表性，但并未充分利用各样品点所包括的距离信息，为此给出类平均距离法。类平均法定义两类之间的距离平方为这两类元素两两之间距离平方的平均，即
221
i p j q
pq ij x G x G p q
D d n n ∈∈=
∑∑
设p G 与q G 合并成新类r G ，则任一类k G 与r G 之间的距离为
222222
111i k j r
i k j p j q i k j p i k j q kr
ij
ij ij ij ij x G x G x G x G x G x G x G x G x G k r
k r k r D d d d d d n n n n n n ∈∈∈∈∈∈∈∈∈??????=
=+=+?? ? ? ? ????????
?∑∑∑∑∑∑∑∑∑ ()22
1(,)(,)k p k p k q k q k r n n D G G n n D G G n n =+2222(,)(,)p q p q k p k q
kp kq r r r r n n n n D G G D G G D D n n n n =+=+ （2）基本步骤
基本步骤完全等同于最短距离法。 （3）例子：P80续例1。 6．可变类平均距离法
由于类平均法公式中没有反映p G 与q G 之间距离pq D 的影响，所以给出可变类平均法。
（1）定义距离：其距离的定义仍为2
21i p j q
pq
ij x G x G p q
D d n n ∈∈=∑∑
。只是递推公式有所改变。
设p G 与q G 合并成新类r G ，则任一类k G 与r G 之间的距离为
2
(1)(,)(1)(,)(,)(1)(1)p q p q kr k p k q p q kp kq pq r
r
r
r
n n n n D D G G D G G D G G D D D n n n n ββββββ=
-+
-+=
-+
-+
其中β是可变的，且1β< （2）基本步骤
基本步骤完全等同于最短距离法。 （3）例子：P81续例1。 7．可变距离法
（1）由可变类平均距离法可以得到一个特例，即令1
2
p q r
r
n n n n =
=
，得到： ()2222
12
kr kp kq pq D D D D ββ-=
++ 其中β是可变的，且1β<。
NOTE ：可变类平均法与可变法的分类效果与β的选择关系极大，β如果接近1，一般分类效果不好，在实际应用中β常取负值。
（2）基本步骤
基本步骤完全等同于最短距离法。 （3）例子：P83续例1。 8．离差平方和法
该方法是Ward 提出，所以又称Ward 方法。 （1）基本思想：来源于方差分析
如果分类合理，同类样本点的离差平方和应当较小，而类与类之间的离差平方和应该较大。 （2）基本做法
不妨设将n 个样品分成了k 类：12,,,k G G G ，用()t i X 表示t G 中的第i 个样品（这里()t i X 是p 维向量），
t n 表示t G 中的样品个数，()t X 是t G 的重心，则t G 中样品的离差平方和为
()()1
()()()()1
n t t t t t i i i S X X X X ='=--∑
k 个类的类内离差平方和为
()()1
()()()()1
11
n k k t t t t t i i t t i S S X X X X ==='==--∑∑∑
首先将n 个样品看成各自一类，然后每次缩小一类，每缩小一类，离差平方和就要增大，选择使得离差平方和增加最小的二类进行合并，直到所有的样品归为一类①。
NOTE ：①粗看起来，Ward 法与前七种方法有较大的差异，但如果将p G 与q G 的距离定义为
2pq r p q D S S S =--
其中r p q G G G = ，r S 为r G 的离差平方和。其含义为：把两类合并增加的离差平方和，当成是两类之间距离的平方。
②可以证明，其计算距离的递推公式为
22
2
2
k p k q k kr kp kq pq r k
r q
r k
n n n n n D D D D n n n n n n ++=
+
-
+++ （3）例子：P85续例1。
结论：（1）各种聚类方法具有共同步骤首先定义类与类之间的距离；其次找到类与新类之间距离的递推公式；
（2）以上类与类之间的距离，不但适用于对样品的聚类问题，而且也适合于对变量的聚类问题，这只要将ij d 用变量间的相似系数ij C 代替，相应的距离可称之为类与类之间的相似系数。R 型系统聚类与Q 型系统聚类的原理和步骤相同，但有两点区别：统计量的选取、各类中的元素构成不同。它定义类与类之间的相似系数（最小、最大、平均），并且按照最大的相似系数进行并类②。
二、系统聚类方法的统一
上述八种系统聚类方法的步骤是完全一样的，所不同的是类与类之间的距离有不同的定义方法，依此所给出的新类与任一类的距离公式不同。但这些公式在1967年由兰斯（Lance ）和威廉姆斯（Williams ）统一起来。
当采用欧氏距离时，八种方法有统一形式的递推公式： 222222
kr p kp q kq pq kp kq D a D a D D D D βγ=+++- NOTE ：①如果不采用欧氏距离时，除重心法、中间距离法、离差平方和法之外，统一形式的递推公
式仍成立；
②不同的聚类方法，参数,,,p q a a βγ有不同的取值，详见教材P88的表； ③聚类方法的选择问题，至今没有统一的标准。 有了样品之间的距离（或变量之间的相似系数）以及类与类之间的距离定义后，便可以进行谱系聚类，其基本步骤归纳如下：
STEP01：n 个样品（变量）一开始就作为n 个类，计算两两之间的距离（或相似系数）构成一个对称矩阵()ij n n
D d ?=，其对角线上的元素全为零（对相似系数矩阵，其对角线上元素全为1）。显然，此时有
(),p q pq D G G d =。记(0)D D 。
STEP02：选择(0)D 中对角线元素以外的下三角部分（或上三角部分）中的最小元素（相似系数矩阵则选择对角线元素之外的最大者），设其为(),p q D G G ，则将p G 与q G 合并成一个新类{},r p q G G G =。在(0)D 中划去p G 与q G 所对应的两行和两列，并加入由新类{},r p q G G G =与剩下的未聚合的各类之间的距离所组成的一行和一列，得到一个新的距离矩阵(1)D ，(1)D 是一个1n -阶对称阵（若在(0)D 中最小元素不唯一，对其它最小元素也作如上相同处理，每合并两类，矩阵(0)D 则降低一阶）。
① 这时所得到的结果可能只是一个局部极小值。
②
也可将相似系数转化为距离，以维持距离越小，关系越密切的含义。如可取1ij ij d C =-或2
2
1ij ij d C =-来进行。
STEP03：由(1)D 出发，重复步骤2得到对称矩阵(2)D ，从(2)D 出发得到(2)D ，依此类推，直到n 个样品（变量）聚为一个大类为止。
STEP04：在合并过程中记下两类合并时样品（或变量）的编号以及合并两类时的距离或相似系数的大小（我们称之为水平），并绘成聚类的谱系图，然后可根据实际问题的背景和要求选定相应的临界水平以确定类的个数。
§4 聚类分析的案例
本节以教材的例子和课题研究中的内容作为研究案例，配合软件操作介绍聚类分析过程，阐述聚类分析过程中应该注意的问题以及对聚类分析结果的应用。
一、教材中的案例
案例1：为了更深入地了解我国人口的文化程度状况，现利用1990年全国人口普查数据对全国30个省、直辖市、自治区进行聚类分析。分析选用了三个指标：（1）大学以上文化程度的人口占全部人口的比例（DXBZ ）；（2）初中文化程度的人口占全部人口的比例（CZBZ ）；（3）文盲半文盲人口占全部人口的比例（WMBZ ），分别用来反映较高、中等、较低文化程度人口的状况，对30个省、市、自治区进行分类。
案例2：根据信息基础设施的发展状况，对世界20个国家和地区进行分类
二、课题研究中的案例
案例3：区域产业结构与区域消费结构关联问题研究
在实际应用中，离差平方和法应用比较广泛，分类效果较好，但要求样本之间的距离必须为欧氏距离。
表2-1 变量的解释
图2-1 聚类分析方法选择
图2-2 树状聚类的相关选择项
根据表1-2中的27个指标和图1-1及图1-2中所选取的聚类分析的方法，在STATISTICA6.0软件中，可以作出如图1-3、图1-4及图1-5所示的1995年、1998年和2001年3年的树状聚类图，并由该聚类图将全国30个省、市、自治区进行归类，结果如下：
1．1995年聚类的结果
图2-3 1995年系统聚类的结果
表2-2 1995年的聚类结果
2．1998年聚类的结果
图2-4 1998年系统聚类的结果
3．
2001年聚类的结果
表2-5 2001年的聚类结果
【本章思考题】
1．聚类分析有哪两大类？它们分别使用什么统计量？它们之间有什么联系与区别？
2．谱系聚类分析方法有哪些？其共同特征是什么？ 3．阐述系统聚类法的基本步骤。
【作业】
图2-5 2001年系统聚类的结果
第四章判别分析 简述欧几里得距离与马氏距离的区别和联系。 答：设p维欧几里得空间中的两点X= 和Y=。则欧几里得距离为 。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。 设X,Y是来自均值向量为，协方差为 的总体G中的p维样本。则马氏距离为D(X,Y)= 。当 即单位阵时，
D(X,Y)==即欧几里得距离。 因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。 试述判别分析的实质。 答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk是p维空间R p的k个子集，如果 它们互不相交，且它们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p维空间 构造一个“划分”，这个“划分”就构成了一个判别规则。 简述距离判别法的基本思想和方法。 答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。
①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是 1 和 2， 对于一个新的样品X ，要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则 X ，D 2（X ，G 1）D 2（X ，G 2） X ，D 2（X ，G 1）> D 2（X ，G 2， 具体分析， 2212(,)(,) D G D G -X X 111122111111 111222********* ()()()() 2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2() 22()2() ---''=-++-' +? ?=--- ??? ''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为 X ，W(X)
第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章：
二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . )' ,...,,(),,,(2121P p EX EX EX EX μμμ='= )' )((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ) ,(~∑μP N X μ ∑ p X X X ,,,21
特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 μ ) ,(~∑μP N X ) ,('A A d A N s ∑+μ) () 1(,,n X X X )' ,,,(21p X X X )' )(() () (1 X X X X i i n i --∑=n 1 X μ∑μ X ) 1 , (~∑n N X P μ) ,1(∑-n W p X X
多元统计分析思考题
《多元统计分析思考题》 第一章回归分析 1、回归分析是怎样的一种统计方法，用来解决什么问题？ 概念：回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。 解决的问题:自变量对因变量的影响程度、方向、形式 2、线性回归模型中线性关系指的是什么变量之间的关系？自变量与因变量之 间一定是线性关系形式才能做线性回归吗？为什么？ 3、实际应用中，如何设定回归方程的形式？ 4、多元线性回归理论模型中，每个系数（偏回归系数）的含义是什么？ 5、经验回归模型中，参数是如何确定的？有哪些评判参数估计的统计标准？ 最小二乘估计两有哪些统计性质？要想获得理想的参数估计值，需要注意一些什么问题？ 6、理论回归模型中的随机误差项的实际意义是什么？为什么要在回归模型中 加入随机误差项？建立回归模型时，对随机误差项作了哪些假定？这些假定的实际意义是什么？ 7、建立自变量与因变量的回归模型，是否意味着他们之间存在因果关系？为什么？ 8、回归分析中，为什么要作假设检验？检验依据的统计原理是什么？检验的 过程是怎样的？
9、回归诊断可以大致确定哪些问题？回归分析有哪些基本假定？如果实际应 用中不满足这些假定，将可能引起怎样的后果？如何检验实际应用问题是否满足这些假定？对于各种不满足假定的情形，分别采用哪些改进方法？ 10、回归分析中的R2有何意义？它能用来衡量模型优劣吗？ 11、如何确定回归分析中变量之间的交互作用？存在交互作用时，偏回归系 数的意义与不存在交互作用的情形下是否相同？为什么？ 12、有哪些确定最优回归模型的准则？如何选择回归变量？ 13、在怎样的情况下需要建立标准化的回归模型？标准化回归模型与非标准 化模型有何关系？形式有否不同？ 14、利用回归方法解决实际问题的大致步骤是怎样的？ 15、你能够利用哪些软件实现进行回归分析？能否解释全部的软件输出结 果？ 第二章判别分析 1、判别分析的目的是什么？ 根据分类对象个体的某些特征或指标来判断其属于已知的某个类中的哪一类。 2、有哪些常用的判别分析方法？这些方法的基本原理或步骤是怎样的？它 们各有什么特点或优劣之处？ 3、判别分析与回归分析有何异同之处？ 4、判别分析对变量与样本规模有何要求？ 5、如何度量判别效果？有哪些影响判别效果的因素？
第四章判别分析 4.1 简述欧几里得距离与马氏距离的区别和联系。 答：设p维欧几里得空间中的两点X=和Y=。则欧几里得距离为 。欧几里得距离的局限有①在多元数据分析中，其度量不合理。②会受到实际问题中量纲的影响。 设X,Y是来自均值向量为，协方差为 的总体G中的p维样本。则马氏距离为D(X,Y)= 。当 即单位阵时， D(X,Y)==即欧几里得距离。 因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。 4.2 试述判别分析的实质。
答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1，R2，…，Rk 是p 维空 间R p 的k 个子集，如果它们互不相交，且它们的和集为，则称为的一 个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划 分”，这个“划分”就构成了一个判别规则。 4.3 简述距离判别法的基本思想和方法。 答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。 ①两个总体的距离判别问题 设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是μ1和μ 2，对于一个新的样品X ， 要判断它来自哪个总体。计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2 （X ，G 2），则 X ，D 2 （X ，G 1） D 2（X ，G 2） X ，D 2（X ，G 1）> D 2 （X ，G 2， 具体分析， 2212(,)(,) D G D G -X X 111122111111 111222********* ()()()() 2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2() 22()2() ---''=-++-' +? ?=--- ?? ?''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为
多元统计分析课程设计 题目：《因子分析在环境污染方面的应用》 姓名：王厅厅 专业班级：统计学2014级2班 学院：数学与系统科学学院 时间：2016年1月 3 日
目录 1.摘要: (1) 2.引言： (1) 背景 (1) 问题的研究意义 (1) 方法介绍 (2) 3.实证分析 (10) 指标 (10) 原始数据 (10) 数据来源 (13) 分析过程： (13) 4.结论及建议 (25) 5.参考文献 (26)
1.摘要: 中国的环境问题，由于中国政府对环境问题的关注，环境法律日趋完善，执法力度加大，对环境污染治理的投人逐年有较大幅度的增加，中国环境问题已朝着好的方面发展。但是，仍存在着环境问题，主要体现在环境污染问题，其中主要为水污染和大气污染。 关键词：环境污染水污染大气污染因子分析2.引言： 背景： 我国的环境保护取得了明显的成就，部分地区环境质量有所改善。但是，从整体上看，我国的环境污染仍在加剧，环境质量还在恶化。大气二氧化硫含量居高不下，境质量呈恶化趋势，固体废弃物污染量大面广，噪声扰民严重，环境污染事故时有发生。据中国社会科学院公布的一项报告表明：中国环境污染的规模居世界前列。 问题的研究意义： 为分析比较各地环境污染特点，利用因子分析对环境污染的各个指标进行降维处理并得到影响环境的内在因素，进一步对环境污染
原因及治理措施进行分析，让更多的人认识到环境的重要性，准确把握各地区环境治理方法以及针对不同地区制定不同的政策改善环境问题，这对综合治理环境问题具有重要意义。 方法介绍 因子分析的意义：变量间的信息的高度重叠和高度相关会给统计方法的应用设置许多障碍。为解决此问题，最简单和最直接的解决方案是削减变量个数，但这必然会导致信息丢失和 信息不完全等问题的产生。为此人们希望探索一种更有效地解决方法，它既能大幅减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。因子分析正是这样一种能够有效降低变量维数的分析方法。 因子分析的步骤： ·因子分析的前提条件：要求原有变量之间存在较强的相关关系。 ·因子提取：将原有变量综合成少数几个因子是因子分析的核心内容。 若存在随机向量 ) (),,(1p q F F F q ≤'=Λ及 ),,(1' =p εεεΛ，使 ??????????+??????????????????? ?=??????????p q pq p q p F F a a a a X X εεM M ΛM M ΛM 1111111 简记为ε+=AF X ，且 （1） q I F D F E ==)(,0)(（标准化）；
多元统计分析期末复习 Document number：WTWYT-WYWY-BTGTT-YTTYU-2018GT
第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章： 二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． )' ,...,,(),,,(2121P p EX EX EX EX μμμ='= )')((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ
(3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . 特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确),(~∑μP N X μ ∑ μ p X X X ,,,21 ),(~∑μP N X ),('A A d A N s ∑+μ) ()1(,,n X X X )',,,(21p X X X )' )(() ()(1X X X X i i n i --∑=n 1X μ∑μX ) 1,(~∑n N X P μ),1(∑-n W p X X
６５ 《商场现代化》２００６年１０月（上旬刊）总第４８１期 一、引言 多元统计分析是统计学中一个非常重要的分支。在国外，从２０世纪３０年代起，已开始在自然科学、管理科学、社会和经济等领域广泛应用。我国自２０世纪８０年代起在许多领域拉开了多元统计分析应用的帷幕，２０多年来在多元统计分析的理论研究和应用上取得了很显著的成绩。 在商业企业经营过程中，往往需要对诸如产品销售收入、产品销售成本、产品销售费用、产品销售税金及附加、产品销售利润、管理费用、利润总额、利税总额等变量进行分析和研究，如何同时对多个变量的观测数据进行有效的分析和研究，这就需要利用多元统计分析方法来解决，通过对多个变量观察数据的分析，来研究变量之间的相互关系以及揭示这些变量之间内在的变化规律。实践证明，多元分析是实现做定量分析的有效工具。 二、多元统计分析研究的主要内容 在当前科技和经济迅速发展的今天，在国民经济许多领域中，特别是对社会现象的分析，只停留在定性分析的基础上是不够的，为提高科学性、可靠性，通常需要定性和定量的分析。如果说一元统计方法是研究一个随机变量统计科学的规律，那么多元统计分析方法是研究多个随机变量之间相互依赖关系以及内在统计规律性的一门统计学科。同时，利用多元统计分析中不同的方法可以对研究对象进行分类和简化。 多元统计分析包括的主要内容有：聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析等。 三、多元统计分析方法在商业企业中的应用 在这里，重点研究聚类分析、判别分析、主成分分析、因子分析方法及其在商业企业中的应用。 １．聚类分析 随着生产技术和科学的发展，人类的认识不断加深，分类越来越细，要求也越来越高，光凭经验和专业知识是不能确切分类的，往往需要定量和定性的分析结合起来去分类，于是数学工具逐渐被引进分类学中，形成了数值分类学。后来随着多元分析的引进，聚类分析逐渐从数值分类学中脱离出来而形成一个相对独 立的分支。 聚类分析又称群分析，它是研究分类问题的一种多元统计方 法。所谓类，通俗地说，就是指相似元素的集合。聚类分析的基本思想是首先将每个样本当作一类，然后根据样本之间的相似程度并类，并计算新类与其它类之间的距离，再选择相近者并类，每合并一次减少一类，继续这一过程，直到所有样本都并成一类为止。所以，聚类分析依赖于对观测间的接近程度（距离）或相似程度的理解，定义不同的距离量度和相似性量度就可以产生不同的聚类结果。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。 在企业销售领域，销售商需要考虑对不同生产企业生产的同名称商品的分类问题。例如，某商场对销售的２０种啤酒进行分类，以便对不同类别的啤酒采用不同的销售策略，变量包括啤酒名称、热量卡路里、钠含量、酒精含量、价格。根据以上指标， 利用聚类分析可以实现把同一类型的啤酒企业归到同一类别。再如商业企业制定商品销售价格时，需要对某个大城市的物价指数进行考察，而物价指数很多，有农用生产物价指数、服务项目物价指数、食品消费物价指数、零售价格指数等等。由于要考察的价格指数很多，通常先对这些价格指数利用聚类分析方法进行分类。 ２．判别分析 在生产、科研和日常生活中经常需要根据观测到的数据资料，对所研究的对象进行分类。判别分析是判断样品所属类型的一种多元统计分析方法，其目的是对已知分类的数据，建立由数值指标构成的分类规则，然后把这样的规则应用到未知分类的样本中去分类。 判别分析与聚类分析不同。判别分析是已知研究对象分成若干类型并取得各种类型的一批已知样品的观测数据，在此基础上根据某些准则建立判别式，然后对未知类型的样品进行判别分析。 判别分析内容很丰富，方法很多。判别分析按判别的组数来区分，有两组判别分析和多组判别分析；按区分不同总体所用的模型来分，有线性判别和非线性判别；按判别式所处理的变量方法不同，又分逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Ｆｉｓｈｅｒ准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等。 商业企业在市场预测中，往往根据以往所调查的种种指标，用判别分析方法判断下季度是畅销、平销或滞销。当然，判别分析与聚类分析常常联合起来使用。在聚类分析中，某商场对销售的２０种啤酒进行分类，假定分类结果为一级品、二级品及三级品，现在判断某种新商标的啤酒属于哪个级别的产品就需要用判别分析。 ３．主成分分析 在实际问题中，研究多指标（变量）问题是经常遇到的，然而在多数情况下，不同指标之间有一定相关性。由于指标较多，再加上指标之间有一定的相关性，势必增加了分析问题的复杂性。主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标，尽可能多地反映原来指标的信息，这种将多个指标化为少数相互无关的综合指标的统计方法，叫做主成分分析 多元统计分析方法在商业企业中的应用 党 玮 石河子大学商学院 ［摘 要］ 随着市场经济的发展和竞争的日益激烈，如何运用科学的分析方法，对收集到的数据做出准确、及时的分析并制定正确的决策，已成为企业极为关注的问题。本文重点介绍了多元统计分析方法中的聚类分析、判别分析、主成分分析、因子分析及其在商业企业中的应用。 ［关键词］ 多元统计 分析方法 商业企业
第二章数据 行业公司简称净资产 收益 率% 总资产 报酬 率% 资产负 债率% 总资产周 转率 流动资 产周转 率 已获利 息倍数 销售增 长率% 资本积 累率% 电力、煤气及水的生产和供应业深能源Ａ16.8512.35 42.32 0.37 1.78 7.18 45.73 54.54 深南电Ａ2215.30 46.51 0.76 1.77 15.67 48.11 19.41 富龙热力8.977.98 30.56 0.17 0.58 10.43 17.80 9.44 穗恒运Ａ10.258.99 40.44 0.46 2.46 5.06 11.06 1.09 粤电力Ａ20.8120.00 35.87 0.43 1.25 34.89 24.77 12.67 韶能股份8.867.52 27.59 0.24 0.84 20.59 -3.50 54.02 惠天热电10.987.94 49.30 0.36 0.69 12.43 16.88 3.52 原水股份8.858.88 36.20 0.13 0.41 8.53 -11.49 2.44 大连热电9.037.41 46.89 0.28 0.79 6.86 16.23 -1.52 龙电股份12.078.70 16.81 0.28 0.68 29.75 4.11 63.06 华银电力 6.85 6.12 41.93 0.24 0.65 4.38 11.20 3.80 房地行业长春经开9.8510.50 31.23 0.34 0.40 17.13 18.05 7.18 兴业房产 1.07 1.52 66.91 0.21 0.24 1.53 -31.93 1.08 金丰投资19.447.01 73.34 0.26 0.30 7.02 71.22 12.73 新黄浦7.61 5.92 39.64 0.16 0.17 4.20 14.77 7.91 浦东金桥 4.24 3.99 37.30 0.20 0.25 3.98 -9.24 4.69 外高桥 1.673 1.92 49.05 0.03 0.05 1.06 -21.74 0.24 中华企业8.78 6.28 57.42 0.17 0.19 3.58 75.29 2.93 渝开发Ａ0.2 2.24 63.40 0.09 0.15 1.07 -12.56 0.29 辽房天8.12 3.98 69.10 0.10 0.72 2.65 -35.83 3.16 粤宏远Ａ0.42 1.16 37.42 0.09 0.15 1.59 19.18 0.43 ST中福 5.17 6.62 65.48 0.16 0.21 1.33 -19.91 23.74 倍特高新0.72 2.76 65.39 0.30 0.42 1.24 8.40 0.70 三木集团 5.99 4.53 65.17 0.74 0.88 4.14 75.36 0.87 寰岛实业0.420.20 24.03 0.02 0.03 -8.18 -71.33 0.42 中关村9.32 4.48 67.76 0.32 0.37 16.42 -29.42 4.09 信息技术 业中兴通讯18.7811.09 69.15 0.93 1.08 4.79 80.80 23.27 长城电脑14.949.48 45.53 1.14 1.85 9.51 34.47 35.93 青鸟华光9.7888.70 36.67 0.28 0.39 13.11 28.36 7.87 清华同方15.919.08 34.19 0.85 1.19 15.61 98.92 95.66 永鼎光缆9.48.67 32.75 0.79 1.25 13.49 41.75 6.33 宏图高科14.577.96 65.86 0.76 0.94 3.95 54.45 15.71 海星科技 4.06 3.35 36.49 0.48 0.60 4.64 -16.28 1.69 方正科技27.4816.69 57.13 2.51 2.87 7.40 63.27 32.02
多元统计分析重点宿舍版 第一讲：多元统计方法及应用；多元统计方法分类（按变量、模型、因变量等） 多元统计分析应用 选择题：①数据或结构性简化运用的方法有：多元回归分析，聚类分析，主成分分析，因子分析 ②分类和组合运用的方法有：判别分析，聚类分析，主成分分析 ③变量之间的相关关系运用的方法有：多元回归，主成分分析，因子分析， ④预测与决策运用的方法有：多元回归，判别分析，聚类分析 ⑤横贯数据：{因果模型(因变量数)：多元回归，判别分析相依模型(变量测度)：因子分析，聚类分析 多元统计分析方法 选择题：①多元统计方法的分类：1）按测量数据的来源分为：横贯数据（同一时间不同案例的观测数据），纵观数据（同样案例在不同时间的多次观测数据） 2）按变量的测度等级（数据类型）分为：类别（非测量型）变量，数值型（测量型）变量 3）按分析模型的属性分为：因果模型，相依模型 4）按模型中因变量的数量分为：单因变量模型，多因变量模型，多层因果模型 第二讲：计算均值、协差阵、相关阵；相互独立性 第三讲：主成分定义、应用及基本思想，主成分性质，主成分分析步骤 主成分定义：何谓主成分分析 就是将原来的多个指标（变量）线性组合成几个新的相互无关的综合指标（主成分），并使新的综合指标尽可能多地反映原来的指标信息。 主成分分析的应用 ：（1）数据的压缩、结构的简化；（2）样品的综合评价，排序 主成分分析概述——思想：①（1）把给定的一组变量X1,X2,…XP ,通过线性变换，转换为一组不相关的变量Y1，Y2，…YP 。（2）在这种变换中，保持变量的总方差（X1，X2，…Xp 的方差之和）不变，同时，使Y1具有最大方差，称为第一主成分；Y2具有次大方差，称为第二主成分。依次类推，原来有P 个变量，就可以转换出P 个主
多元统计分析有哪些应用? 比较 关系 预测 分类 评价 各种应用对应的多元统计分析方法 比较：多元方差分析 关系：回归模型 预测：回归模型 分类：聚类分析与判别分析、回归模型 评价：主成分分析与因子分析 ?多元回归、logisitic回归、Cox回归、Poisson回归 多元统计分析方法主要内容 多元T检验、多元方差分析 ?Hotelling T2 ?multivariate analysis of variance (MANOV A) 多元线性回归(multivariate linear regression) logistic回归(logistic regression) Cox比例风险模型(Cox model) Poisson回归(Poisson regression) 聚类分析(cluster analysis) 判别分析(discriminant analysis) 主成分分析和因子分析 生存分析 本课程的要求 上机做练习，分析实际资料 学会看文献，判断统计分析的应用是否正确 统计软件SAS，或Stata, SPSS10.01 考试： 理论占30%，实验占70% 二、多元统计分析的基本概念 研究因素从广义的角度看，所有可以测量的变量都可以成为研究因素，比如：年 龄、性别、文化程度、人体的各种生物学特征和生理生化指标环境因素、心理因素等。狭义来看，研究因素是指可能与研究目的有关的影响因素 多元统计分析对多变量样本的要求 ①分布：多元正态分布、相互独立、多元方差齐 ②样本含量 目前尚没有多元分析的样本含量估计方法，一般认为样本含量应超过研究因素5-10倍以上即可。 数值变量→分类成有序分类变量 哑变量的数量=K-1（K为分类数）
Equation Chapter 1 Section 1 Array《多元统计分析》 Multivariate Statistical Analysis ； ^ ) 主讲：统计学院许启发（） 统计学院应用统计学教研室 School of Statistics 2004年9月
第三章 主成分分析 【教学目的】 1．让学生了解主成分分析的背景、基本思想； 2．掌握主成分分析的基本原理与方法； 3．掌握主成分分析的操作步骤和基本过程； 4．] 5．学会应用主成分分析解决实际问题。 【教学重点】 1．主成分分析的几何意义； 2．主成分分析的基本原理。 §1 概述 一、什么是主成分分析 1．研究背景 在实际问题的研究中，为了全面分析问题，往往涉及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同。实际上，在很多情况下，众多变量间有一定的相关关系，人们希望利用这种相关性对这些变量加以“改造”，用为数较少的新变量来反映原变量所提供的大部分信息，通过对新变量的分析达到解决问题的目的。主成分分析及典型相关分析便是在这种降维的思维下产生的处理高维数据的统计方法。本章主要介绍主成分分析。 主成分分析的基本方法是通过构造原变量的适当的线性组合，以产生一系列互不相关的新变量，从中选出少数几个新变量并使它们含有尽可能多的原变量带有的信息，从而使得用这几个新变量代替原变量分析问题和解决问题成为可能。当研究的问题确定之后，变量中所含“信息”的大小通常用该变量的方差或样本方差来度量。 > 概括地说，主成分分析（principal component analysis ）就是一种通过降维技术把多个指标约化为少数几个综合指标的综合统计分析方法，而这些综合指标能够反映原始指标的绝大部分信息，它们通常表现为原始几个指标的线性组合。主成分概念最早是由Karl Parson 于1901年引进的，1933年Hotelling 把这个概念推广到随机向量。在实践中，主成分分析既可以单独使用，也可和其它方法结合使用，如主成分回归可克服多重共线性。 2．基本思想及意义 哲学理念：抓住问题的主要矛盾。 主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这p 个指标进行线性组合作为新的综合指标。问题是：这样的线性组合会很多，如何选择 如果将选取的第一个线性组合即第一个综合指标记为1F ，希望它能尽可能多地反映原来指标的信息，即1()Var F 越大，1F 所包含的原指标信息①就越多，1F 的方差应该最大，称1F 为第一主成分。 如果第一主成分1F 不足以代表原来p 个指标的信息，再考虑选取2F 即选择第二个线性组合。为了有效地反映原来的信息，1F 中已包含的信息，无须出现在2F 中，即12(,)0Cov F F ，称2F 为第二主成分。 仿此可以得到p 个主成分。 ① 度量信息最经典的方差是方差。
实验报告 一、实验名称 多元统计分析作业题。 二、实验目的 （一）了解并掌握主成分分析与因子分析的基本原理和简单解法。 （二）学会使用matlab编写程序进行因子分析，求得特征值、特征向量、载荷矩阵等值。（三）学会使用排序、元胞数组、图像表示最后的结果，使结果更加直观。 三、实验内容与要求
四、实验原理与步骤 （一）第一题： 1、实验原理： 因子分析简介： (1) 1.1 基本因子分析模型 设p维总体x=(x1,x2,....,xp)'的均值为u=(u1,u2,....,u3)'，因子分析的一般模型为 x1=u1+a11f1+a12f2+........+a1mfm+ε 1 x2=u2+a21f1+a22f2+........+a2mfm+ε 2 ......... xp=up+ap1f1+fp2f2+..........+apmfm+εp 其中，f1,f2,.....,fm为m个公共因子；εi是变量xi(i=1,2,.....,p)所独有的特殊因子，他们都是不可观测的隐变量。称aij(i=1,2,.....,p;j=1,2,.....,m)为变量xi的公共因子fi上的载荷，它反映了公共因子对变量的重要程度，对解释公共因子具有重要的作用。上式可以写为矩阵形式 x=u+Af+ε
其中A=(aij)pxm 称为因子载荷矩阵；f=(f1,f2,....,fm)'为公共因子向量；ε=(ε1,ε2,.....εp)称为特殊因子向量 (2) 1.2 共性方差与特殊方差 xi的方差var(xi)由两部分组成，一个是公共因子对xi方差的贡献，称为共性方差；一个是特殊因子对xi方差的贡献，称为特殊方差。每个原始变量的方差都被分成了共性方差和特殊方差两部分。 (3) 1.3 因子旋转 因子分析的主要目的是对公共因子给出符合实际意义的合理解释，解释的依据就是因子载荷阵的个列元素的取值。当因子载荷阵某一列上各元素的绝对值差距较大时，并且绝对值大的元素较少时，则该公共因子就易于解释，反之，公共因子的解释就比较困难。此时可以考虑对因子和因子载荷进行旋转（例如正交旋转），使得旋转后的因子载荷阵的各列元素的绝对值尽可能量两极分化，这样就使得因子的解释变得容易。 因子旋转方法有正交旋转和斜交旋转两种，这里只介绍一种普遍使用的正交旋转法：最大方差旋转。这种旋转方法的目的是使因子载荷阵每列上的各元素的绝对值（或平方值）尽可能地向两极分化，即少数元素的绝对值（或平方值）取尽可能大的值，而其他元素尽量接近于0. (4) 1.4 因子得分 在对公共因子做出合理解释后，有时还需要求出各观测所对应的各个公共因子的得分，就比如我们知道某个女孩是一个美女，可能很多人更关心该给她的脸蛋、身材等各打多少分，常用的求因子得分的方法有加权最小二乘法和回归法。 注意：因子载荷矩阵和得分矩阵的区别： 因子载荷矩阵是各个原始变量的因子表达式的系数，表达提取的公因子对原始变量的影响程度。因子得分矩阵表示各项指标变量与提取的公因子之间的关系，在某一公因子上得分高，表明该指标与该公因子之间关系越密切。简单说，通过因子载荷矩阵可以得到原始指标变量的线性组合，如X1=a11*F1+a12*F2+a13*F3,其中X1为指标变量1，a11、a12、a13分别为与变量X1在同一行的因子载荷，F1、F2、F3分别为提取的公因子；通过因子得分矩阵可以得到公因子的线性组合，如F1=a11*X1+a21*X2+a31*X3，字母代表的意义同上。 (5) 1.5 因子分析中的Heywood（海伍德）现象 如果x的各个分量都已经标准化了，则其方差=1。即共性方差与特殊方差的和为1。也就是说共性方差与特殊方差均大于0，并且小于1。但在实际进行参数估计的时候，共性方差
第四章判别分析 习题4.8 （1）根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。 （2）现有一新品牌的饮料在该超市试销，其销售价格为3.0，顾客对其口味评分为8，信任度评分平均为5，试预测该饮料的销售情况。 将数据导入SPSS，分析得到以下结果： 1.典型判别函数的特征函数的特征值表 表1-1 特征值表 表1-1所示是典型判别函数的特征值表，只有两个判别函数，所以特征值只有2个。函数1的特征值为17.791，函数2的特征值为0.720，判别函数的特征值越大，说明函数越具有区别判断力。函数1方差的累积贡献率高达96.1%，且典型相关系数为0.973，而函数2方差的贡献率仅为3.9%，典型相关系数为0.647。由此，说明函数1的区别判断力比函数2的强，函数1更具有区别判断力。 2.Wilks检验结果 表1-2 Wilks 的Lambda 上表中判别函数1和判别函数2的Wilks’Lambda值为0.031，判别函数2的Wilks’Lambda值为0.581。“1到2”表示两个判别函数的平均数在三个类间的差异情况，P值=0.002<0.05表示差异达到显著水平“2”表示在排除了第一个判别函数后，第二个判别函数在三个组别间的差异情况，P值=0.197>0.05表示判别函数2未达到显著水平。 3.建立贝叶斯判别函数
表1-3 贝叶斯判别法函数系数 上表为贝叶斯判别函数的系数矩阵，用数学表达式表示各类的贝叶斯判别函数为： 第一组： F1=-81.843-11.689X1+12.97X2+16.761X3 第二组： F2=-94.536-10.707X1+13.361X2+17.086X3 第三组： F3=-17.499-2.194X1+4.960X2+6.447X3 将新品牌饮料样品的自变量值分别代入上述三个贝叶斯判别函数，得到三个函数值为： F1=65.271，F2=65.661，F3=47.884 比较三个值，可以看出F2=65.661最大，据此得出新品牌饮料样品应该属于第二组，即该饮料的销售情况为平销。 4.个案观察结果表 表1-4 个案观察结果表
《多元统计分析》习题分为三部分：思考题、验证题和论文题 思考题 第一章绪论 1﹑什么是多元统计分析？ 2﹑多元统计分析能解决哪些类型的实际问题？ 第二章聚类分析 1﹑简述系统聚类法的基本思路。 2﹑写出样品间相关系数公式。 3﹑常用的距离及相似系数有哪些？它们各有什么特点？ 4﹑利用谱系图分类应注意哪些问题？ 5﹑在SAS和SPSS中如何实现系统聚类分析？ 第三章判别分析 1﹑简述距离判别法的基本思路，图示其几何意义。 2﹑判别分析与聚类分析有何异同？ 3﹑简述贝叶斯判别的基本思路。 4﹑简述费歇判别的基本思路。 5﹑简述逐步判别法的基本思想。 6﹑在SAS和SPSS软件中如何实现判别分析？ 第四章主成分分析 1﹑主成分分析的几何意义是什么？ 2﹑主成分分析的主要作用有那些？ 3﹑什么是贡献率和累计贡献率，其意义何在？ 4﹑为什么说贡献率和累计贡献率能反映主成分中所包含的原始变量的信息？ 5﹑为什么要用标准化数据去估计V的特征向量与特征值？ 6﹑证明：对于标准化数据有S=R。 7﹑主成分分析在SAS和SPSS中如何实现？ 第五章因子分析 1﹑因子得分模型与主成分分析模型有何不同？
2﹑因子载荷阵的统计意义是什么？ 3﹑方差旋转的目的是什么？ 4﹑因子分析有何作用？ 5﹑因子模型与回归模型有何不同？ 6﹑在SAS和SPSS中如何实现因子分析？ 第六章对应分析 1﹑简述对应分析的基本思想。 2﹑简述对应分析的基本原理。 3﹑简述因子分析中Q型与R 型的对应关系。 4﹑对应分析如何在SAS和SPSS中实现？ 第七章典型相关分析 1﹑典型相关分析适合分析何种类型的数据？ 2﹑简述典型相关分析的基本思想。 3﹑典型变量有哪些性质？ 4﹑典型相关系数和典型变量有何意义？ 5﹑典型相关分析有何作用？ 6 ﹑在SAS和SPSS中如何实现典型相关分析？ 验证题 第二章聚类分析 1、为了更深入了解我国人口的文化程度，现利用1990年全国人口普查数据对全国30个省、直辖市、自治区进行聚类分析。分析选用了三个指标：(1)大学以上文化程度的人口占全部人口的比例(DXBZ)；(2)初中文化程度的人都占全部人口的比例(CZBZ)；(3)文盲半文盲人口占全部人口的比例(WMBZ)，分别用来反映较高、中等、较低文化程度人口的状况。计算样品之间的相似系数，使用最长距离法、重心法和Ward法，将上机结果按样品号画出聚类图，并根据聚类图将30个样品分为四类。 2、根据信息基础设施的发展状况，对世界20个国家和地区进行分类。只要采用6个指标：(1)Call—每千人拥有电话线数，(2)movecall—每千户居民蜂窝移动电话数，(3)fee—高峰时期每三分钟国际电话的成本，(4)Computer—每千人拥有的计算机数，(5)mips—每千人中计算机功率(每秒百万指令)，(6)net—每千人互联网络户主数。计算样本之间的距离采用欧式距离，用最长距离法、重心法、离差平方和法进行计算。
2.1.试叙述多元联合分布和边际分布之间的关系。 解：多元联合分布讨论多个随机变量联合到一起的概率分布状况，12(,,)p X X X X '=L 的联合分布密 度函数是一个p 维的函数，而边际分布讨论是12(,,)p X X X X '=L 的子向量的概率分布，其概率密度 函数的维数小于p 。 2.2设二维随机向量1 2()X X '服从二元正态分布，写出其联合分布。 解：设1 2()X X '的均值向量为()1 2μμ'=μ，协方差矩阵为21 122212σσσσ?? ? ?? ，则其联合分布密度函数为 1/2 12 2 2112112222122121()exp ()()2f σσσσσσσσ--???????? '=---?? ? ??? ?????? x x μx μ。 2.3已知随机向量12()X X '的联合密度函数为 12121222 2[()()()()2()()] (,)()()d c x a b a x c x a x c f x x b a d c --+-----= -- 其中1a x b ≤≤，2c x d ≤≤。求 （1）随机变量1X 和2X 的边缘密度函数、均值和方差； （2）随机变量1X 和2X 的协方差和相关系数； （3）判断 1X 和2X 是否相互独立。 （1）解：随机变量 1X 和2X 的边缘密度函数、均值和方差； 11212122 2[()()()()2()()] ()()()d x c d c x a b a x c x a x c f x dx b a d c --+-----=--? 1221222222 2()()2[()()2()()]()()()() d d c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----? 121 222202()()2[()2()]()()()() d d c c d c x a x b a t x a t dt b a d c b a d c ------= +----? 221212222 2()()[()2()] 1()()()()d c d c d c x a x b a t x a t b a d c b a d c b a ------=+= ----- 所以 由于1X 服从均匀分布，则均值为2b a +，方差为 ()2 12 b a -。