当前位置：文档之家 › 厦门大学《应用多元统计分析》_[2]...

厦门大学《应用多元统计分析》_[2]...

  • 格式：ppt
  • 大小：4.16 MB
  • 文档页数：127

下载文档原格式

  / 127

合集下载

厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计

厦门大学《应用多元统计分析》习题第02章 多元正态分布的参数估计

思考与练习2.1 试述多元联合分布和边缘分布之间的关系。

2.2 设随机向量12(,)X X ′=X 服从二元正态分布，写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。

2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为：()()()()()()()()()121122222,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦=−−其中，。

求：12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。

⑵ 随机变量1X 和2X 的协方差和相关系数。

⑶ 判断1X 和2X 是否相互独立。

2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布，已知其协差阵为对角阵，证明ΣX 的分量是相互独立的随机变量。

2.5 从某企业全部职工中随机抽取一个容量为6的样本，该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示： 职工编号目前工资 （美元）受教育年限（年）初始工资 （美元）工作经验（月）11 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26设职工总体的以上变量服从多元正态分布，根据样本资料求出均值向量和协差阵的最大似然估计。

2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质？ 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1~(,p N nX μΣ)。

2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。

2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本，试求样本协差阵的分布。

厦门大学《应用多元统计分析》习题第03章 多元正态分布均值向量和协差阵的检验

厦门大学《应用多元统计分析》习题第03章 多元正态分布均值向量和协差阵的检验

时各小时的低频心电频谱值（LF）、高频心电频谱值（HF），资料见下表。试
分析这两个指标的各次重复测定均值向量是否有显著差异（α = 0.05 ）。
3
1 LF HF 4.66 2.89 4.54 4.65 5.91 4.53 4.95 3.31 5.51 3.78 4.22 2.61 4.61 3.10 5.08 4.38
（α = 0.05 ）。
3.10 试对你感兴趣的某一实际现象进行总体均值向
4
≠
μ0 ; (α
=
0.05) 。
3.5 测量 30 名初生到 3 周岁婴幼儿的身高（ x1 ）和体重（ x2 ）数据如
下表所示，其中男女各 15 名。假定这两组都服从正态总体且协方差阵相等，
试在显著性水平α = 0.05 下检验男女婴幼儿的这两项指标是否有差异。
编号 1
男
x1
x2
54
3
女
x1
x2
54
2 LF HF 4.29 3.03 4.69 4.77 5.28 4.41 5.05 3.28 4.94 3.56 4.54 3.28 4.26 3.11 5.56 5.36
3 LF HF 4.77 3.57 4.58 3.04 5.37 4.79 4.65 2.86 4.68 3.97 4.61 4.40 5.27 3.88 5.55 5.00
思考与练习
3.1 试述多元统计分析中的各种均值向量和协差阵检验的基本思想和步 骤。
3.2 试述多元统计中 Hotelling T 2 分布和 Wilks Λ 分布分别与一元统计中
t 分布和 F 分布的关系。
3.3 试述 Wilks 统计量在多元方差分析中的重要意义。 3.4 大学生的素质高低要受各方面因素的影响，其中包括家庭环境与家庭

厦门大学应用多元统计分析第章聚类分析

厦门大学应用多元统计分析第章聚类分析

4．距离选择的原则
一般说来，同一批数据采用不同的距离公式，会得到不同 的分类结果。产生不同结果的原因，主要是由于不同的距离 公式的侧重点和实际意义都有不同。因此我们在进行聚类分 析时，应注意距离公式的选择。通常选择距离公式应注意遵 循以下的基本原则：
（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏 距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作 用。
1．明考夫斯基距离
p
dij (q) (
X ik X jk )q 1/ q
k 1
(5.1)
明考夫斯基距离简称明氏距离，按的取值不同又可分成：
（1）绝对距离（ q 1）
p
dij (1) X ik X jk k 1
（2）欧氏距离（ q 2）
p
dij (2) (
X ik X jk )2 1/ 2
p
( Xik Xi )( X jk X j )
rij
k 1 p
p
( Xik Xi )2 ( X jk X j )2
k 1
k 1
(5.8)
显然也有，∣rij∣ 1。
无论是夹角余弦还是相关系数，它们的绝对值都小于1，作 为变量近似性的度量工具，我们把它们统记为cij。当∣cij∣ = 1时，说明变量Xi与Xj完全相似；当∣cij∣近似于1时，说 明变量Xi与Xj非常密切；当∣cij∣ = 0时，说明变量Xi与Xj完 全不一样；当∣cij∣近似于0时，说明变量Xi与Xj差别很大。 据此，我们把比较相似的变量聚为一类，把不太相似的变量
聚类分析就是分析如何对样品（或变量）进行量化分类的问 题。通常聚类分析分为Q型聚类和R型聚类。Q型聚类是对样 品进行分类处理，R型聚类是对变量进行分类处理。

厦门大学《应用多元统计分析》大纲

厦门大学《应用多元统计分析》大纲

课程名称：应用多元统计学英文名称：Applied Multivariate Statistical Analysis课程编号：180018开课学期：第5学期学分/周学时：3/54课程类型：学科类方向性课程先修课程：概率论数理统计选用教材：《应用多元统计分析》朱建平主编2006.08 科学出版社主要参考书：多元统计分析引论张尧庭，方开泰97 科学出版社一、课程性质、目的与任务随着计算机应用的广泛和深入，多元统计分析已在包括社会、经济等人文学科在内的许多领域，愈显得重要和光彩。

作为知名大学重点学科得学生，应该知其概貌，懂得相关的必要理论且掌握一些常用的分析方法，为其就业与继续深造打下必要而有用的基础。

为了让学生较系统、全面地了解多元统计分析内容，并掌握多元统计分析的基本方法，我们将按照高等学校大学生的培养目标，有计划、有步骤地讲授《应用多元统计分析》的基本理论方法。

其目的是，在该课程讲授过程中，使学生从学习理论中看到多元统计分析方法的实用价值，通过实证分析，让学生掌握数据处理的多元统计分析方法。

二、教学基本要求根据以往学生的教学实践，现将该课程教学的基本要求概括如下：1、为夯实学习基础，先重点理解一元统计分析（数理统计）的相关知识要点与基本分析工具。

由于该课程需要用到较广且有一定深度的矩阵代数知识，所以在授课进程中相机进行复习和补充。

2、为尽量减轻学生对多元且随机对象得困惑，从一开始就着手建立一套较为严格的符号含义与表叙规则。

让同学们逐渐熟悉“胖字母”（多元对象）并对之产生好感，体会面对多元现象时如何化繁为简抓住要点科学表述的必要性。

3、涉及多元，自然升入高维空间。

虽超传统三维，但对分析对象的几何形式处理，不是不能而是更有必要，因此需要探讨和引入高维随机空间，并考察其与传统高维欧氏空间的位置关系和联系。

4、没有背景的方法和技巧死水一潭，而背景不是解说文字的堆砌。

抓住对空间形式结构的处理，让许多从字面上看十分专深的概念和方法，在中学的几何课堂里找到他们的身影，从而使学生有一种温故而知新的情感，自然产生学习新知识的兴趣和动力。

厦门大学《应用多元统计分析》第06章__主成分分析

厦门大学《应用多元统计分析》第06章__主成分分析
一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主 成分只含有二维空间点的约一半信息，若仅用这一个综合变量， 则将损失约50％的信息，这显然是不可取的。造成它的原因是， 原始变量X1和X2的相关程度几乎为零，也就是说，它们所包含 的信息几乎不重迭，因此无法用一个一维的综合变量来代替。
另一种是椭圆扁平到了极限，变成y1轴上的一条线，第一主成 分包含有二维空间点的全部信息，仅用这一个综合变量代替原 始数据不会有任何的信息损失，此时的主成分分析效果是非常 理想的，其原因是，第二主成分不包含任何信息，舍弃它当然 没有信息损失。
矩阵表示形
式为：
Y1 Y2
cos sin
sin cos
X1 X2
TX
(6.2）
其中， T为旋转变换矩阵，它是正交矩阵，即有 T T1
或 TT I 。
易见，n个点在新坐标系下的坐标Y1和Y2几乎不相关。称它 们为原始变量X1和X2的综合变量，n个点y1在轴上的方差达 到最大，即在此方向上包含了有关n个样品的最大量信息。
i 1
性质 3 主成分 Yk 与原始变量 X i 的相关系数为
(6.20） (6.21）
(Yk , Xi )
k ii
tki
并称之为因子负荷量（或因子载荷量）。
(6.22）
证明：事实上
(Yk , Xi )
Cov(Yk , Xi ) Cov(TkX, eiX)
D(Yk )D(Xi )
k ii
其中的 ei (0, , 0,1, 0, , 0) ，它是除第 i 个元素为 1 外其他元
素均为 0 的单位向量。而
Cov(TkX, eiX) TkΣei ei(ΣTk ) ei(kTk ) keiTk ktki

厦门大学应用多元统计分析第章聚类分析

厦门大学应用多元统计分析第章聚类分析
（2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方 法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就 可采用欧氏距离。
（3）要考虑研究对象的特点和计算量的大小。样品间距离公式的选 择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象 的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多选 择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分 析，以确定最合适的距离测度方法。
在生物、经济、社会、人口等领域的研究中，存在着大量量 化分类研究。例如：在生物学中，为了研究生物的演变，生 物学家需要根据各种生物不同的特征对生物进行分类。在经 济研究中，为了研究不同地区城镇居民生活中的收入和消费 情况，往往需要划分不同的类型去研究。在地质学中，为了 研究矿物勘探，需要根据各种矿石的化学和物理性质和所含 化学成分把它们归于不同的矿石类。在人口学研究中，需要 构造人口生育分类模式、人口死亡分类状况，以此来研究人 口的生育和死亡规律。
聚类分析就是分析如何对样品（或变量）进行量化分类的问 题。通常聚类分析分为Q型聚类和R型聚类。Q型聚类是对样 品进行分类处理，R型聚类是对变量进行分类处理。
第二节 相似性的量度
一 样品相似性的度量 二 变量相似性的度量
一、样品相似性的度量
在聚类之前，要首先分析样品间的相似性。Q型聚类分析， 常用距离来测度样品之间的相似程度。每个样品有p个指标 （变量）从不同方面描述其性质，形成一个p维的向量。如 果把n个样品看成p维空间中的n个点，则两个样品间相似程 度就可用p维空间中的两点距离公式来度量。两点距离公式 可以从不同角度进行定义，令dij 表示样品Xi与Xj的距离，存 在以下的距离公式：
二、类间距离与系统聚类法
在进行系统聚类之前，我们首先要定义类与类之间的距离， 由类间距离定义的不同产生了不同的系统聚类法。常用的类 间距离定义有8种之多，与之相应的系统聚类法也有8种，分 别为最短距离法、最长距离法、中间距离法、重心法、类平 均法、可变类平均法、可变法和离差平方和法。它们的归类 步骤基本上是一致的，主要差异是类间距离的计算方法不同。 以下用dij表示样品Xi与Xj之间距离，用Dij表示类Gi与Gj 之间的距离。

厦门大学应用多元统计分析第判别分析

今按照欧氏距离计算，有
AB 102 52 125 ； CD 12 102 101
如果我们将长度单位变为 mm，那么，有
AB 102 502 2600 ； CD 12 1002 10001
量纲的变化，将影响欧氏距离计算的结果。
为此，我们引入一种由印度著名统计学家马哈拉诺比斯 （Mahalanobis, 1936）提出旳“马氏距离”旳概念。
其
中
μ
1 2
(μ1
μ2)
是
两
个
总
体
均
值
的
平
均
值
，
α Σ1 (μ1 μ 2 ) ，记 W (X) α(X μ)
（4.5）
则判别规则（4.4）式可表示为
X X
G1 G2
, ,
如果 如果
W (X) 0 W (X) 0
（4.6）
这里称W (X) 为两总体距离判别的判别函数，由于它是 X 的线性
设 X 和 Y 是来自均值向量为 μ ，协方差为 Σ( 0) 的总体 G
中的 p 维样本，则总体 G 内两点 X 与 Y 之间的马氏距离定
义为
D2 (X, Y) (X Y)Σ1(X Y) (4.2)
定义点 X 到总体 G 的马氏距离为
D2 (X,G) (X μ)Σ1(X μ)
(4.3)
一 Bayes鉴别旳基本思想 二 Bayes鉴别旳基本措施
从上节看距离鉴别法虽然简朴，便于使用。但是该措施也有 它明显旳不足之处。
第一，鉴别措施与总体各自出现旳概率旳大小无关；
第二，鉴别措施与错判之后所造成旳损失无关。Bayes鉴别 法就是为了处理这些问题而提出旳一种鉴别措施。
一、Bayes鉴别旳基本思想

厦门大学《应用多元统计分析》第05章_聚类分析

最小元素的类可以同时合并。
【例5.1】设有六个样品，每个只测量一个指标，分别是1， 2，5，7，9，10，试用最短距离法将它们分类。
（1）样品采用绝对值距离，计算样品间的距离阵D（0） ，见 表5.1
G1
G2
G3
G4
G5
G6
G1
0
G2
1
0
G3
4
30Βιβλιοθήκη G4652
0
G5
8
7
4
2
0
G6
9
8
5
3
1
0
表5.1
归到不同的类内。
在实际聚类过程中，为了计算方便，我们把变量间相似性的 度量公式作一个变换为
或者
dij = 1 ∣cij∣
(5.9)
dij2 = 1 cij2
(5.10)
用表示变量间的距离远近，小则与先聚成一类，这比较符合
人们的一般思维习惯。
第三节 系统聚类分析法
一 系统聚类的基本思想 二 类间距离与系统聚类法 三 类间距离的统一性
2．马氏距离
设Xi与Xj是来自均值向量为 ，协方差为∑ =（＞0）的总体
G中的p维样品，则两个样品间的马氏距离为
di2j (M ) (Xi X j )Σ1(Xi X j )
(5.5)
马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种
距离的主要不同就是它考虑了观测变量之间的相关性。如果 各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵， 则马氏距离就退化为用各个观测指标的标准差的倒数作为权 数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异 性，不再受各指标量纲的影响。将原始数据作线性变换后， 马氏距离不变。

厦门大学应用多元统计分析第章聚类分析


1. 最短距离法 定义类与之间的距离为两类最近样品的距离，即为
Dij min d XiGi , X jG j ij
(5.11)
设类与合并成一个新类记为，则任一类与的距离为
Dkr min d XiGk , X j Gr ij

min{ min Xi Gk , X j Gp
dij
,
为
Dpq

max
Xi Gp , X j Gq
dij
(5.13)
最长距离法与最短距离法的并类步骤完全一样，也是将
各样品先自成一类，然后将距离最小的两类合并。将类
G p 与 Gq 合并为 Gr ，则任一类 Gk 与 Gr 的类间距离公
式为
Dkr

max
XiGk , X j Gr
dij

max{ max Xi Gk , X j Gpj
p
( Xik Xi )( X jk X j )
rij
k 1 p
p
( Xik Xi )2 ( X jk X j )2
k 1
k 1
(5.8)
显然也有，∣rij∣ 1。
无论是夹角余弦还是相关系数，它们的绝对值都小于1，作 为变量近似性的度量工具，我们把它们统记为cij。当∣cij∣ = 1时，说明变量Xi与Xj完全相似；当∣cij∣近似于1时，说 明变量Xi与Xj非常密切；当∣cij∣ = 0时，说明变量Xi与Xj完 全不一样；当∣cij∣近似于0时，说明变量Xi与Xj差别很大。 据此，我们把比较相似的变量聚为一类，把不太相似的变量
2．马氏距离
设Xi与Xj是来自均值向量为 ，协方差为∑ =（＞0）的总体
G中的p维样品，则两个样品间的马氏距离为

厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计

厦门大学《应用多元统计分析》第02章_多元正态分布的参数估计第一节引言多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵。

例如在研究公司的运营情况时，要考虑公司的获利能力、资金周转能力、竞争能力以及偿债能力等财务指标；又如在研究国家财政收入时，税收收入、企业收入、债务收入、国家能源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等都是需要同时考察的指标。

显然，如果我们只研究一个指标或是将这些指标割裂开分别研究，是不能从整体上把握研究问题的实质的，解决这些问题就需要多元统计分析方法。

为了更好的探讨这些问题，本章我们首先论述有关随机向量的基本概念和性质。

在实用中遇到的随机向量常常是服从正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于正态分布。

因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。

在多元统计分析中，多元正态分布占有很重要地位，本书所介绍的方法大都假定数据来之多元正态分布。

为此，本章将要介绍多元正态分布的定义和有关性质。

然而在实际问题中，多元正态分布中均值向量和协差阵通常是未知的，一般的做法是由样本来估计。

这是本章讨论的重要内容之一，在此我们介绍最常见的最大似然估计法对参数进行估计，并讨论其有关的性质。

第二节基本概念一、随机向量我们所讨论的是多个变量的总体，所研究的数据是同时p个指标（变量），又进行了n次观测得到的，我们把这个p指标表示为X1，X2，…，Xp，常用向量X=(X1，X2，…，XP)''表示对同一个体观测的p个变量。

这里我们应该强调，在多元统计分析中，仍然将所研究对象的全体称为总体，它是由许多（有限和无限）的个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体（或p元总体）。

上面的表示便于人们用数学方法去研究p维总体的特性。

这里“维”（或“元”）的概念，表示共有几个分量。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

4．距离选择的原则 一般说来，同一批数据采用不同的距离公式，会得到不同 的分类结果。产生不同结果的原因，主要是由于不同的距离 公式的侧重点和实际意义都有不同。因此我们在进行聚类分 析时，应注意距离公式的选择。通常选择距离公式应注意遵 循以下的基本原则：
（1）要考虑所选择的距离公式在实际应用中有明确的意义。如欧氏
距离就有非常明确的空间距离概念。马氏距离有消除量纲影响的作 用。 （2）要综合考虑对样本观测数据的预处理和将要采用的聚类分析方 法。如在进行聚类分析之前已经对变量作了标准化处理，则通常就 可采用欧氏距离。 （3）要考虑研究对象的特点和计算量的大小。样品间距离公式的选 择是一个比较复杂且带有一定主观性的问题，我们应根据研究对象 的特点不同做出具体分折。实际中，聚类分析前不妨试探性地多选 择几个距离公式分别进行聚类，然后对聚类分析的结果进行对比分 析，以确定最合适的距离测度方法。
S1 S3
最长距离法
S4 S5
最长距离(complete
linkage)
2. 最长距离法 定义类 Gi 与 G j 之间的距离为两类最远样品的距离，即 为
D pq
X i G p , X j Gq
max
dij
(5.13)
最长距离法与最短距离法的并类步骤完全一样，也是将 各样品先自成一类，然后将距离最小的两类合并。将类 G p 与 Gq 合并为 Gr ，则任一类 Gk 与 Gr 的类间距离公 式为

最短距离法(single linkage) 最长距离法(complete linkage) 中间距离法(median method) 可变距离法(flexible median) 重心法(centroid) 类平均法(average) 可变类平均法(flexible average) Ward最小方差法(Ward’s minimum variance)
第二节 相似性的量度
一 样品相似性的度量
二 变量相似性的度量
一、样品相似性的度量
在聚类之前，要首先分析样品间的相似性。Q型聚类分析，
常用距离来测度样品之间的相似程度。每个样品有p个指标 （变量）从不同方面描述其性质，形成一个p维的向量。如 果把n个样品看成p维空间中的n个点，则两个样品间相似程 度就可用p维空间中的两点距离公式来度量。两点距离公式 可以从不同角度进行定义，令dij 表示样品Xi与Xj的距离，存 在以下的距离公式： 1．明考夫斯基距离
dij (q) ( X ik X jk )
k 1
p
q 1/ q
(5.1)
明考夫斯基距离简称明氏距离，按的取值不同又可分成：
（ 1）绝对距离（ q 1 ）
dij (1) X ik X jk
k 1 p
(5.2)
（ 2）欧氏距离（ q 2 ）
dij (2) ( X ik X jk )
Dkr
X i Gk , X j Gr
min
d ij
dij , min dij }
(5.12)
min{
X i Gk , X j G p
min
xi Gk , x j Gq
min{Dkp , Dkq }
系统聚类(Hierarchical clustering)

最短距离法进行聚类分析的步骤如下：
（1）定义样品之间距离，计算样品的两两距离，得一距离 阵记为D（0） ，开始每个样品自成一类，显然这时Dij = dij。 （2）找出距离最小元素，设为Dpq，则将Gp和Gq合并成一个 新类，记为Gr，即Gr = ｛Gp，Gq｝。 （3）按（5.12）计算新类与其它类的距离。 （4）重复（2）、（3）两步，直到所有元素。并成一类为 止。如果某一步距离最小的元素不止一个，则对应这些 最小元素的类可以同时合并。
表5.1
（2）D（0）中最小的元素是D12＝D56＝1，于是将G1和G2合 并成G7，G5和G6合并成G8，并利用（5.12）式计算新类与其 它类的距离D（1） ，见表5.2
G7 0 3 5 7 G3 0 2 4 0 2 0 G4 G8
G7 G3 G4 G8
表5.2
（3）在D（1）中最小值是D34＝D48＝2，由于G4与G3合并， 又与G8合并，因此G3、G4、G8合并成一个新类G9，其与其 它类的距离D（2） ，见表5.3
类间距离 最短距离法
S1 S2 S3 S5 S4
最短距离(single linkage)
类与之间的距离为两类最近样品的距离
1. 最短距离法（single linkage） 定义类与之间的距离为两类最近样品的距离，即为
Dij
X i Gi , X j G j
min
d ij
(5.11)
设类与合并成一个新类记为，则任一类与的距离为
但历史上这些分类方法多半是人们主要依靠经验作定性分类，
致使许多分类带有主观性和任意性，不能很好地揭示客观事 物内在的本质差别与联系；特别是对于多因素、多指标的分 类问题，定性分类的准确性不好把握。为了克服定性分类存 在的不足，人们把数学方法引入分类中，形成了数值分类学。 后来随着多元统计分析的发展，从数值分类学中逐渐分离出 了聚类分析方法。随着计算机技术的不断发展，利用数学方 法研究分类不仅非常必要而且完全可能，因此近年来，聚类 分析的理论和应用得到了迅速的发展。 聚类分析就是分析如何对样品（或变量）进行量化分类的问 题。通常聚类分析分为Q型聚类和R型聚类。Q型聚类是对样 品进行分类处理，R型聚类是对变量进行分类处理。
p
2 2 ( X X ) ( X X ) ik i jk j k 1
(5.8)
显然也有，∣rij∣ 1。
无论是夹角余弦还是相关系数，它们的绝对值都小于1，作
为变量近似性的度量工具，我们把它们统记为cij。当∣cij∣ = 1时，说明变量Xi与Xj完全相似；当∣cij∣近似于1时，说 明变量Xi与Xj非常密切；当∣cij∣ = 0时，说明变量Xi与Xj完 全不一样；当∣cij∣近似于0时，说明变量Xi与Xj差别很大。 据此，我们把比较相似的变量聚为一类，把不太相似的变量 归到不同的类内。 在实际聚类过程中，为了计算方便，我们把变量间相似性的 度量公式作一个变换为 dij = 1 ∣cij∣ (5.9) 或者 dij2 = 1 cij2 (5.10) 用表示变量间的距离远近，小则与先聚成一类，这比较符合 人们的一般思维习惯。
2．马氏距离 设Xi与Xj是来自均值向量为 ，协方差为∑ =（＞0）的总体 G中的p维样品，则两个样品间的马氏距离为
2 dij (M ) (Xi X j )Σ1 (Xi X j )
(5.5)
马氏距离又称为广义欧氏距离。显然，马氏距离与上述各种 距离的主要不同就是它考虑了观测变量之间的相关性。如果 各变量之间相互独立，即观测变量的协方差矩阵是对角矩阵， 则马氏距离就退化为用各个观测指标的标准差的倒数作为权 数的加权欧氏距离。马氏距离还考虑了观测变量之间的变异 性，不再受各指标量纲的影响。将原始数据作线性变换后， 马氏距离不变。
第五章 聚类分析
第一节 第二节 第三节 第四节 第五节 引言 相似性的量度 系统聚类分析法 K均值聚类分析 有序样品的聚类分析法
第六节
实例分析与计算机实现
第一节 引言
“物以类聚，人以群分”。对事物进行分类，是人们认识
事物的出发点，也是人们认识世界的一种重要方法。因此， 分类学已成为人们认识世界的一门基础科学。 在生物、经济、社会、人口等领域的研究中，存在着大量量 化分类研究。例如：在生物学中，为了研究生物的演变，生 物学家需要根据各种生物不同的特征对生物进行分类。在经 济研究中，为了研究不同地区城镇居民生活中的收入和消费 情况，往往需要划分不同的类型去研究。在地质学中，为了 研究矿物勘探，需要根据各种矿石的化学和物理性质和所含 化学成分把它们归于不同的矿石类。在人口学研究中，需要 构造人口生育分类模式、人口死亡分类状况，以此来研究人 口的生育和死亡规律。
二、类间距离与系统聚类法
在进行系统聚类之前，我们首先要定义类与类之间的距离，
由类间距离定义的不同产生了不同的系统聚类法。常用的类 间距离定义有8种之多，与之相应的系统聚类法也有8种，分 别为最短距离法、最长距离法、中间距离法、重心法、类平 均法、可变类平均法、可变法和离差平方和法。它们的归类 步骤基本上是一致的，主要差异是类间距离的计算方法不同。 以下用dij表示样品Xi与Xj之间距离，用Dij表示类Gi与Gj 之间的距离。
k 1 p 2 1/ 2
(5.3)
（ 3）切比雪夫距离（ q ）
dij () max X ik X jk
1 k p
(5.4)
欧氏距离是常用的距离，大家都比较熟悉，但是前面已经提
到，在解决多元数据的分析问题时，欧氏距离就显示出了它 的不足之处。一是它没有考虑到总体的变异对“距离”远近 的影响，显然一个变异程度大的总体可能与更多样品近些， 既使它们的欧氏距离不一定最近；另外，欧氏距离受变量的 量纲影响，这对多元数据的处理是不利的。为了克服这方面 的不足，可用“马氏距离”的概念。
【例5.1】设有六个样品，每个只测量一个指标，分别是1，
2，5，7，9，10，试用最短距离法将它们分类。 （1）样品采用绝对值距离，计算样品间的距离阵D（0） ，见 表5.1
G1 G2 G3 G4 G5 G6 G1 0 1 4 6 8 9 G2 0 3 5 7 8 0 2 4 5 0 2 3 0 1 0 G3 G4 G5 G6
第三节 系统聚类分析法
一 系统聚类的基本思想 二 类间距离与系统聚类法 三 类间距离的统一性
一、系统聚类的基本思想
系统聚类的基本思想是：距离相近的样品（或变量）先聚成
类，距离相远的后聚成类，过程一直进行下去，每个样品 （或变量）总能聚到合适的类中。系统聚类过程是：假设总 共有n个样品（或变量），第一步将每个样品（或变量）独 自聚成一类，共有n类；第二步根据所确定的样品（或变量） “距离”公式，把距离较近的两个样品（或变量）聚合为一 类，其它的样品（或变量）仍各自聚为一类，共聚成n 1类； 第三步将“距离”最近的两个类进一步聚成一类，共聚成n 2类；……，以上步骤一直进行下去，最后将所有的样品 （或变量）全聚成一类。为了直观地反映以上的系统聚类过 程，可以把整个分类系统画成一张谱系图。所以有时系统聚 类也称为谱系分析。除系统聚类法外，还有有序聚类法、动 态聚类法、图论聚类法、模糊聚类法等，限于篇幅，我们只 介绍系统聚类方法。