判别分析-距离判别法35页PPT

例F1如(X错)，判F的2(X概)，率…最…小或FK错(X判)（的均损为失p最元小分等布。函数），希望建立一 个准则，对于一个给定样品X，依据这个准则就能判断出这个
样品来自哪个总体。
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析
5.1.2 判别分析的基本思想
……
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析
5.1.1 引 例
这些问题有一个共同的特点，就是事先已有“类”的划分， 或事先已对某种已知样本分好了“类”。
判别分析要解决的问题就是在已知历史上用某些方法已把研 究对象分成若干类的情况下，来判定新的观测样品属于已知类 别中的哪一类。
1、按判别的组数 2、按判别函数的形式 3、按处理变量的方法 4、按判别准则
安徽财经大学统计与应用数学学院 2008.8 休息一下
返回
统计学专业主干课程——多元统计分析
5.1.3 判别分析的类型
根据资料的性质，分为定性资料的判别分析和定量资料的 判别分析。
本章的大部分内容是讨论定量资料的判别分析。
统计学专业主干课程——多元统计分析
5.2 距离判别
5.2.1 距离判别的基本思想 5.2.2 两总体距离判别 5.2.3 多总体距离判别
1、两总体距离判别 2、应用实例
安徽财经大学统计与应用数学学院 2008.8 休息一下
返回
统计学专业主干课程——多元统计分析
5.2.2 两总体距离判别
1、两总体距离判别
2008.8 休息一下
安徽财经大学统计与应用数学学院
统计学专业主干课程——多元统计分析

zf
7.2 距离判别 ❖ 基本思想：
即：首先根据已知分类的数据，分别计算各类 的重心即各组（类）的均值，判别的准则是对任 给样品，计算它到各类重心的距离，哪个距离最
小就将它判归哪个类。
zf
yG1，如d2y，G1d2y，G2， yG2，如d2y，G2d2y，G1
待判， 如d2(y,G1)d2(y,G2)
0.87973×花瓣长-2.28382×花瓣宽 变色鸢尾花： Y=1.100772×花萼长+1.070119×花萼宽 +1.000877×花瓣长+0.197345×花瓣宽
佛吉尼亚鸢尾花： Y=0.865205×花萼长+0.746515×花萼宽
+1.646601×花瓣长+1.694931×花瓣宽
zf
五、判别新样本所属类别 742082 Z ×花萼宽 1、输入历史数据，计算 和 当总体分类不清楚时，先用聚类分析对一批样本进行分类，再用判别分析构建判别式对新样本进行判别。 007192×花萼长+0. 2、聚类分析则是对研究对象的类型未知的情况下，对其进行分类的方法。 二、判别分析的基本要求： Fisher判别的优势在于对分布、方差等都没有什么限制，应用范围较广。 例2：中小企业的破产模型 3、X3：高峰时期每三分钟国际电话的成本 二、判别分析的基本要求： 742082 Z ×花萼宽 分界图，将坐标平面划分为 87973×花瓣长-2. 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 ⑴ 指定分组变量及其取值范围。 所谓Fisher判别法，就是用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中。 3、X3：高峰时期每三分钟国际电话的成本 06327×花萼长-0. 使用该方法后，按钮“Method”将被激活

判别规则为
x G1 , x G2 ,
如果 如果
x x
两个总体的距离判别法
（2） 当 μ1 μ 2 ， Σ1 Σ 2 时，我们采用（ 4.4）式作为判别 规则的形式。选择判别函数为
（1.1）
W * (X) D2 (X, G1 ) D2 (X, G2 ) 1 1 (X μ1 )Σ1 (X μ1 ) (X μ2 )Σ2 (X μ2 )
距离判别法例题
（6）对待样品判别归类结果如表4-5所示：
总结：回代率为百分之百，这与统计资料的结果相符，而待判的四 个样品的判别结果表明：中国、罗马尼亚为中等发展水平国家，即 第二类；希腊、哥伦比亚为高发展水平国家，即为第一类。这是符 合当时实际的，即与当时世界各国人文发展指数的水平相吻合。
SPSS运行结果
X i {x1 , x2 ,...,xm }T。令μ=E( X i)(i=1,2,
设X，Y是从总体G中抽取的两个样本，则X与Y之间的平方马 氏距离为： 2 d ( X , Y ) ( X Y )T 1 ( X Y ) 样本X与总体G的马氏距离的平方定义为：
d 2 ( X , G) ( X )T 1 ( X )
判别分析基本原理 判别函数 判别方法分类
引言
引 言
信息融合中的分析方法有三种，分别是：判别分析、聚类分 析、主成成分分析。 例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病 判别分析产生于 20 世纪 30 年代。近年来，在自然科学、社会 人的资料，记录了每个患者若干项症状指标数据。现在想利用现 学及经济管理学科中都有广泛的应用。 判别分析的特点是根据 有的这些资料找出一种方法，使得对于一个新的病人，当测得这 已掌握的、历史上每个类别的若干样本的数据信息，总结出客观 些症状指标数据时，能够判定其患有哪种病。这个问题可以应用 事物分类的规律性，建立判别公式和判别准则。然后，当遇到新 判别分析方法予以解决。 的样品时，只要根据总结出来的判别公式和判别准则，就能判别 该样品所属的类别。

zi(x)ln q ifi((x ))
lnqi 12ln|i |1 2(x(i))i1(x(i))]
问题转化为若 Zl(x)m 1ik[Z ai(x x)，]则判 xGl 。 当协方差阵相等 1 k
则判别函数退化为 zi(x)ln qi1 2(xμ(i))Σ1(xμ(i)) ]
12[2lnqi (xμ(i))Σ1(x μ(i)) ] 令 F i(x) 2ln q i (x μ(i))Σ1(x μ(i)) ]
hj(x)qiC(j/i)fi(x)
i1
含义是：当抽取了一个未知总体的样品值x，要判别它属于 那个总体，只要先计算出k个按先验概率加权的误判平均损失
k
hj(x)qiC(j/i)fi(x) i1
然后比较其大小，选取其中最小的，则判定样品属 于该总体。
为了直观说明，作为例子，我们讨论k=2的情形。
ECM
其判别函数为
W (x)(x)12(12)
(12)/2 1 2
概 率 ： P ( x /G 2 ) P ( x 2 1 2 2 2 )
P(x21 22)P(x2
12) 2
1(12) 2
2、 交叉核实
交叉核实法的思想是：为了判断第i个观测的判别
正确与否，用删除第i个观测的样本数据集计算出判
P i ( x ) 2 lq i n 2 μ ( ) Σ i 1 x μ ( ) Σ i 1 μ (i)
问题转化为若P l(x)m 1ik[P ii(nx)]，则判 xGl 。
P i(x ) 2 (q li n 1 2 μ (i Σ ) 1 μ (i ) μ (Σ i )1 x )
P(好/做 人好事）
P好P 人 (做 P好 好 /好 P 人 事 )做 人 P(坏 好 /好 )P 人 事 (做 人好 /坏事 )人

假定两总体G1,G2均服从4元正态分布,在误判损失相 等且先验概率按比例分配条件下,对待判样本进行bayes
判别.
19
表4-2 两类企业财务状况数据
G1（破产企业）
G2（非破产企业）
X1
X2
-0.45 -0.41
-0.56 -0.31
0.06 0.02
-0.07 -0.09
-0.10 -0.09
-0.14 -0.07
p20=1-chi2cdf(Q20, p*(p+1)/2) %卡方分布概率p20 p20 P{Q2 Q20}
输出结果：Q10=2.5784，Q20=0.7418均<7.8147=λ，
p10=0.4613,p20=0.8633,均>0.05,
认为两个总体协方差矩阵相等
15
（2）估计两个总体的先验概率 按样本容量比例选取.由于Apf与Af分别为
回代误判率: p pˆ N1 N2
n1 n2
交叉误判率：
p
pˆ *
N1*
N
* 2
mn
11
例4.3.1 6只Apf和9只Af蠓虫触角长度和翅膀长度数据: Apf：(1.14,1.78), (1.18,1.96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96) ； Af：(1.24,1.72), (1.36,1.74), (1.38,1.64),(1.38,1.82), (1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82), (1.56,2.08).
0.40 0.38 0.11 3.27
0.26 0.19 0.05 2.25

= 2y′Σ −1 ( µ1 − µ 2 ) − ( µ1 + µ 2 )′Σ −1 ( µ1 − µ 2 )
( µ1 + µ 2 ) −1 = 2[y − ]′Σ ( µ1 − µ 2 ) 2 µ1 + µ 2 α = Σ −1 ( µ1 − µ2 ) = (a1 , a2 ,L, a p )′ 令µ = 2
利用这些数据找到一种判别函数，使得这一函数 具有某种最优性质，能把属于不同类别的样本点 尽可能的区别开来，并对同样测得 p项指标的新 样本进行归类.
关键：确定判别函数
判别准则： 判别准则： 用于衡量新样品与各已知组别接近程度的思路原则。 常用的有，距离准则、Fisher准则、贝叶斯准则。
判别函数： 判别函数： 基于一定的判别准则计算出的用于衡量新样品与各 已知组别接近程度的描述指标。
µ1 + µ 2
判别函数的常数项（ 2 ′ ） Σ −1 ( µ1 − µ 2 )
（6）生成判别函数，将检验样本代入，判类。
三、多总体的距离判别法
设有 k 个 m元总体 G1,L, Gk ，分别有均值向量 µi和协方 差阵 Σi，对任给的 m元样品 X，判断它来自哪个总体 计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若
Y = (Y1 , Y2 ,..., Y p )'，通常我们所说的两点间的距
离是指欧氏距离：
d 2 ( X , Y ) = ( X 1 − Y1 ) 2 + ... + ( X p − Yp ) 2
缺陷： 缺陷： 1、量纲的改变 2、数据的分散程度
1、设有量度重量和长度的两个变量 X和Y ，以单位 分别为kg和cm得到样本 A(0,5), B(10,0), C (1,0), D(0,10)， 按照欧氏距离计算，有：

k i 1
μμi

k i 1
μμ u
k
u[ μiμi kμμ kμμ kμμ]u i 1
k
u[ μiμi kμμ]u
12
i 1
k
b u[ μiμi kμμ]u
i 1

k
u[
i 1
μiμi

1 k
X1、X2为横、纵坐标轴构建一 个平面，若能设法找到一个y
轴，使得当X1X2平面上的散点
投射到y轴上时，两组观察值
的重叠程度最小，则综合指标
x2
y的区分能力显然大于原先的
X1、X2 。
3
y
一、Fisher判别的基本思想
从 k 个 P 维总体中抽取一个具有 p 个指标的样品观测数据，借
助方差分析的思想构造一个线性判别函数：
i 1
其中 μ

1 k
k
μ i ，代表全部 k 个总体的集．中．趋势；
i 1
k
E Σi ，代表各个总体内．部．的离散程度。 i 1
(μi μ) 代表总体 i 与其他各组之．间．的平均差距。9
这里 b 相当于一元方差分析中的组间差； e 相当于组内差。 应用方差分析的思想，选择 u 使得目标函数
i
Qr
Ri
i 1 s
i 1
i
i 1
它表明了全部 r 个判别式的判别能力。
实际应用中，我们一般不会使用全部 s 个判别式，因为费希尔判别法的基
本思想就是要降维。因此，如果前 r 个判别式的累计贡献率已达到一个较
高的比例（一般 75％至 95％即可），则可采用这 r 个判别式进行判别。 18

判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。

1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。

具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。

1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。

投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。

原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。

对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。

用数学的语言来说，判别问题可以表述为：对于n个样品， 每个样品有p个指标，已知每个样品属于某一k类别（总 体）G1，G2，…，Gk，对于每类别其分布函数分别为 f1(y)，f2(y)，…，fk(y)，对于一个给定样品y，我们要判 断出这个样本来自哪个总体。判别分析的主要问题就是 如何寻找最佳的判别函数和建立判别规则。
D( X , G1) （X X (1) )（ X X (1) )
D( X , G2 ) （X X (2) )（ X X (2) ) X (1)，X (2)分别为G1、G2的均值向量。 然后比较D( X , G1)，D( X , G2 )的大小，按最近准则判别归类。 在多元统计分析中经常用马氏距离做上述判别分析。
聚类分析数据格式
k
判别分析数据格式
第二节 距离判别法
距离判别法就是根据已知分类的数 据，分别计算各类的重心即分组（类） 的均值，判别准则是对任给的一次观测， 若它与第i类的重心距离最近，就认为 它来自第i类。
距离判别法对各类（或总体）的分 布，并无特别的要求。
1、两个总体的距离判别法
设有两个总体G1、G2，村第一个总体中抽取n1个样品， 从第二个总体中抽取n2个样品，每个样品观测p个指标。 今取任一个样品，实测指标值为X＝（x1, x2 , , xp ),问
X应判归那一类？
首先计算X到G1、G2总体的距离，分别记为D( X ,G1)和
D( X ,G2 )，按距离最近原则判别归类，则可以写成：
X G1，
X
Байду номын сангаас
G2
,
待判,
当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 ) 当D( X ,G1) D( X ,G2 )

判别分析-距离判别法
6
、
露
凝
无
游
Hale Waihona Puke 氛，天高
风
景
澈
。
7、翩翩新 来燕，双双入我庐 ，先巢故尚在，相 将还旧居。
8
、
吁
嗟
身
后
名
，
于
我
若
浮
烟
。
9、 陶渊 明（ 约 365年 —427年 ），字 元亮， （又 一说名 潜，字 渊明 ）号五 柳先生 ，私 谥“靖 节”， 东晋 末期南 朝宋初 期诗 人、文 学家、 辞赋 家、散
1
0
、
倚
南
窗
以
寄
傲
，
审
容
膝
之
易
安
。
▪
26、要使整个人生都过得舒适、愉快，这是不可能的，因为人类必须具备一种能应付逆境的态度。——卢梭
▪
27、只有把抱怨环境的心情，化为上进的力量，才是成功的保证。——罗曼·罗兰
▪
28、知之者不如好之者，好之者不如乐之者。——孔子
▪
29、勇猛、大胆和坚定的决心能够抵得上武器的精良。——达·芬奇
▪
30、意志是一个强壮的盲人，倚靠在明眼的跛子肩上。——叔本华
谢谢！
37
文 家 。汉 族 ，东 晋 浔阳 柴桑 人 （今 江西 九江 ） 。曾 做过 几 年小 官， 后辞 官 回家 ，从 此 隐居 ，田 园生 活 是陶 渊明 诗 的主 要题 材， 相 关作 品有 《饮 酒 》 、 《 归 园 田 居 》 、 《 桃花 源 记 》 、 《 五 柳先 生 传 》 、 《 归 去来 兮 辞 》 等 。

w11 w12 w1 p w1r
w
21
w22
w2p
w2r
Qw＝
w
p1
w p2 w pp
w
pr
wr1 wr 2 wrp wrr
使其中虚线左上部分便是只含 p 个变量的模型中的
类内离均差平方和矩阵Q( p )，而整个矩阵则是含p＋1
w
个变量的模型中的类内离均差平方和矩阵Q ( p 1) 。
第12章 判别分析Discrimination Analysis
判别分析
：从反映个体性质各个侧面的P个变量出发，通过
定量分析，最终将其判归某一已知总体，从而将 对个体的研究置于更为广泛的总体研究背景上。
各种判别分析都是按照某种判别原则（视判别方
法不同而不同），在e
对变量进行剔除和引进的方法 差异显著地大于类内差异呢？还需进行测验。
第三节 逐步判别分析方法
Stepwise Discrimination Analysis
Wilk’s Λ统计量 何分类”、“某一个事例（或样品）属于那一类”等问题是并不知晓；
如果已知将原应属于Gi的样品误判为属于Gj所造成
第二节 贝叶斯判别分析
|Q | |Q |w 设叶X斯，判Y别是法从的均判值别向函量数为）μ，，协按方判差别阵函为数wΣ值的的总大体小G来中抽取的两个样品，定义X，Y之间的马氏距离平方为：
＝ ──── ＝── 用 F 测验可以检验增长是否显著。
|Q ＋Q | |Q | h 第与五多步 元、回如归果分有析待相判似数，据在，进将行其判代别入分，析并时判，别并e归不类是。
统计量为p，增加一个变
量 (x ) 后的 Bayes Discrimination Analysis

y1 0.60581 7.8 0.25362 39.11.83679 9.6 18.73596 4.0892 0(第一个新企业属于一类 ）
y2 0.605818.1 0.25362 34.2 1.83679 6.9 18.73596 2.2956 0(第二个新企业属于二类 ）
2、当总体的协方差已知，但不相等
体温 肺癌
2、某地区气象预报
气温
气压
湿度
阴晴 雨
3、经济学 人均消费水平 国民生产总值
工农业产值
国民经济发展 快速 中速 慢速
用数学语言表达：
设有n个样本，对每个样本测量p项指标的数据， 已知每个样本属于k 个类别(或总体)G1, G2 ,..., Gk
的某一类，分布函数分别为 F1(x), F2 (x),..., Fk (x) . 1、病人肺部阴影
P(X 2 )
P(X 2
2
1
2
2
2 )
P(X 2
2
1
2
2
)
P( X 2 2 1 2 )
2
1 (1 2 ) 2
1. 距离判别规则是符合习惯的； 2. 用这种判别方法是会发生误判的； 3. 当两总体靠得比较近时，即两总体的均值差
异较小时，无论用何种判别方法，判错的概 率都比较大，这时的判别分析也是没有意义 的，因此只有当两总体的均值有明显差异时， 进行判别分析才有意义，为此，要对两总体 的均值差异性进行检验. 4. 落在 附近的样品按上述判别规则虽可进行 判断，但误判的可能性较大。
和协方
i
差阵 i，对任给的m元样品 X，判断它来自哪个总体
计算 X 到 k个总体的马氏距离，比较后，把 X 判归给 距离最小的那个总体，若