判别分析-距离判别法37页PPT

第二节距离判别距离判别本节内容距离判别的R 实现3两个总体的距离判别问题2距离最小判别准则1距离最小判别准则距离判别的基本思想：样品和哪个总体距离最近，就判断它属于哪个总体。

距离判别也称为直观判别法如何定义观测到一个总体的距离？问题A设p 维欧式空间中的两点12(,,,)'= p X X X X 12(,,,)'= p Y Y Y Y 则欧式距离的定义为22211(,)()()=-++- p p d X Y X Y X Y用欧式距离衡量点到总体的距离会出现一定偏差。

例如，量纲的变化就有可能影响欧式距离的计算结果马氏距离在企业评估中，根据企业的生产经营情况把企业分为优秀企业和一般企业两个类别。

关于企业生产经营状况的指标有3个：资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵见下页表格。

现有两个企业，观测值分别为（7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？“优秀”的企业，其经营状况和协方差矩阵如下：变量优秀企业的均值向量协方差矩阵资金利润率13.568.3940.2421.41劳动生产率40.740.2454.5811.67产品净值率10.721.4111.677.90现在有一个新的企业，其三个指标的值分别为（7.8，39.1，9.6），计算该企业到“优秀”企业这一总体的马氏距离7.813.539.140.79.610.7X μ-⎡⎤⎢⎥-=-⎢⎥⎢⎥-⎣⎦[]1(,)(μ)(μ)68.3940.2421.41 5.75.7 1.6 1.140.2454.5811.67 1.63414.81221.4111.677.9 1.1D X G X X -'=-∑--⎡⎤⎡⎤⎢⎥⎢⎥=----=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦这个判别规则的等价描述为：求新样品X 到G 1的距离与到G 2的距离之差，如果其值为正，X 属于G 2；否则X 属于G 1。

判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。

据此即可确定某一样本属于何类。

1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。

若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。

由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。

故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。

判别分析--费希尔判别、贝叶斯判别、距离判别判别分析⽐较理论⼀些来说，判别分析就是根据已掌握的每个类别若⼲样本的数据信息，总结出客观事物分类的规律性，建⽴判别公式和判别准则;在遇到新的样本点时，再根据已总结出来的判别公式和判别准则，来判断出该样本点所属的类别。

1 概述三⼤类主流的判别分析算法，分别为费希尔(Fisher)判别、贝叶斯(Bayes)判别和距离判别。

具体的，在费希尔判别中我们将主要讨论线性判别分析（Linear Discriminant Analysis，简称LDA）及其原理⼀般化后的衍⽣算法，即⼆次判别分析（Quadratic Discriminant Analysis，简称QDA);⽽在贝叶斯判别中将介绍朴素贝叶斯分类(Naive Bayesian Classification)算法;距离判别我们将介绍使⽤最为⼴泛的K最近邻(k-Nearest Neighbor，简称kNN)及有权重的K最近邻( Weighted k-Nearest Neighbor）算法。

1.1 费希尔判别费希尔判别的基本思想就是“投影”，即将⾼维空间的点向低维空间投影，从⽽简化问题进⾏处理。

投影⽅法之所以有效，是因为在原坐标系下，空间中的点可能很难被划分开，如下图中，当类别Ⅰ和类别Ⅱ中的样本点都投影⾄图中的“原坐标轴”后，出现了部分样本点的“影⼦”重合的情况，这样就⽆法将分属于这两个类别的样本点区别开来;⽽如果使⽤如图8-2中的“投影轴”进⾏投影，所得到的“影⼦”就可以被“类别划分线”明显地区分开来，也就是得到了我们想要的判别结果。

原坐标轴下判别投影轴下判别我们可以发现，费希尔判别最重要的就是选择出适当的投影轴，对该投影轴⽅向上的要求是:保证投影后，使每⼀类之内的投影值所形成的类内离差尽可能⼩，⽽不同类之间的投影值所形成的类间离差尽可能⼤，即在该空间中有最佳的可分离性，以此获得较⾼的判别效果。

对于线性判别，⼀般来说，可以先将样本点投影到⼀维空间，即直线上，若效果不明显，则可以考虑增加⼀个维度，即投影⾄⼆维空间中，依次类推。

距离判别法及其应用一、什么是距离判别（一）定义距离判别分析方法是判别样品所属类别的一应用性很强的多因素决策方法，根据已掌握的、历史上每个类别的若干样本数据信息，总结出客观事物分类的规律性，建立判别准则，当遇到新的样本点，只需根据总结得出的判别公式和判别准则，就能判别该样本点所属的类别。

距离判别分析的基本思想是：样本和哪个总体的距离最近，就判它属于哪个总体。

（二）作用判别个体所属类型。

例如在经济学中，可根据各国的人均国人民收入、人均工农业产值和人均消费水平等多种指标来判定一个国家经济发展程度的怕属类型医学上根据口才的体温、白血球数目以及其他病理指标来判断患者所患何病等。

二、距离判别分析原理（一）欧氏距离欧氏距离（Euclidean distance ）是一个通常采用的距离定义，最多的应用是对距离的测度。

大多情况下，人们谈到距离的时候，都会很自然的想到欧氏距离。

从数学的角度来讲，它是在m 维空间中两个点之间的真实距离。

在二维空间中其公式为：221221)()(y y x x d -+-=推广到n 维空间其公式为：21)(1i n i i y x d -=∑=（二）马氏距离在判别分析中，考虑到欧氏距离没有考虑总体分布的分散性信息，印度统计学家马哈诺必斯（Mahalanobis ）于1936年提出了马氏距离的概念。

设总体T m X X X G },...,,{21=为m 维总体（考察m 个指标），样本T m i x x x X },...,,{21=。

令μ=E(i X )(i=1,2, …，m)，则总体均值向量为T m },,{21μμμμ⋅⋅⋅=。

总体G 的协方差矩阵为：]))([()(T G G E G COV μμ--==∑。

设X ，Y 是从总体G 中抽取的两个样本，则X 与Y 之间的平方马氏距离为：)()(),(12Y X Y X Y X d T -∑-=-样本X 与总体G 的马氏距离的平方定义为：)()(),(12μμ-∑-=-X X G X d T1．两总体距离判别。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i 类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X =(x 1,……,x n )′和Y =(y 1,……,y m )′是从期望为μ＝（μ1，……,μm ）′和方差阵∑＝（σij ）m×m >0的总体G 抽得的两个观测值，则称X 与Y 之间的马氏距离为：d 2=(X −Y )′∑−1(X −Y)样本X 与G i 之间的马氏距离定义为X 与G i 类重心间的距离，即： d 2=(X −μi )′∑−1(X −μi ) i =1,2……,k附注：1、 马氏距离与欧式距离的关联：∑＝I ，马氏距离转换为欧式距离；2、 马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体，对给定的样本Y ，判别一个样本Y 到底是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。

故我们用马氏距离来给定判别规则，有：()()()()ïîïíì=<Î<Î),(),(22121222222121G y d G y d G d G d G G d G d G 如待判，，，如，，，，如，y y y y y y )()()()(),(),(1112121222m m m m -¢---¢-=---y y y y y y SSG d G d 22211y y y μμμ12---'+'-'=∑∑∑--∑'=-)(221μμ1y )()(212μμμμ-∑'+-11)(])([221121y μμμμ-∑'+-=-)2(1111μμμ---∑'+∑'-∑'-11y y y当 μ1、μ2 和∑已知时，是一个已知的p 维向量，W （y ）是y 的线性函数，称为线性判别函数。