距离判别分析

第二节距离判别距离判别本节内容距离判别的R 实现3两个总体的距离判别问题2距离最小判别准则1距离最小判别准则距离判别的基本思想：样品和哪个总体距离最近，就判断它属于哪个总体。

距离判别也称为直观判别法如何定义观测到一个总体的距离？问题A设p 维欧式空间中的两点12(,,,)'= p X X X X 12(,,,)'= p Y Y Y Y 则欧式距离的定义为22211(,)()()=-++- p p d X Y X Y X Y用欧式距离衡量点到总体的距离会出现一定偏差。

例如，量纲的变化就有可能影响欧式距离的计算结果马氏距离在企业评估中，根据企业的生产经营情况把企业分为优秀企业和一般企业两个类别。

关于企业生产经营状况的指标有3个：资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵见下页表格。

现有两个企业，观测值分别为（7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？“优秀”的企业，其经营状况和协方差矩阵如下：变量优秀企业的均值向量协方差矩阵资金利润率13.568.3940.2421.41劳动生产率40.740.2454.5811.67产品净值率10.721.4111.677.90现在有一个新的企业，其三个指标的值分别为（7.8，39.1，9.6），计算该企业到“优秀”企业这一总体的马氏距离7.813.539.140.79.610.7X μ-⎡⎤⎢⎥-=-⎢⎥⎢⎥-⎣⎦[]1(,)(μ)(μ)68.3940.2421.41 5.75.7 1.6 1.140.2454.5811.67 1.63414.81221.4111.677.9 1.1D X G X X -'=-∑--⎡⎤⎡⎤⎢⎥⎢⎥=----=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦这个判别规则的等价描述为：求新样品X 到G 1的距离与到G 2的距离之差，如果其值为正，X 属于G 2；否则X 属于G 1。

判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。

据此即可确定某一样本属于何类。

1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。

若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。

由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。

故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。

距离判别法及实例基本思想：首先根据已知分类的数据，分别计算各类的重心即分组（类）的均值，判别准则是对任给的一次观测，若它与第i 类的重心距离最近，就认为它来自第i 类。

距离判别法，对各类（或总体）的分布，并无特定的要求。

1 两个总体的距离判别法设有两个总体（或称两类）G 1、G 2，从第一个总体中抽取n 1个样品，从第二个总体中抽取n 2个样品，每个样品测量p 个指标如下页表。

今任取一个样品，实测指标值为),,(1'=p x x X Λ，问X 应判归为哪一类？首先计算X 到G 1、G 2总体的距离，分别记为),(1G X D 和),(2G X D ，按距离最近准则判别归类，则可写成：⎪⎩⎪⎨⎧=>∈<∈),(),( ,),(),(,),(),(,21212211G X D G X D G X D G X D G X G X D G X D G X 当待判当当 G 1总体： G 2总体：记2,1,),,()()(1)(='=i x x Xi p i i Λ如果距离定义采用欧氏距离，则可计算出1(,)D X G ==2(,)D X G ==然后比较),(1G X D 和),(2G X D 大小，按距离最近准则判别归类。

由于马氏距离在多元统计分析中经常用到，这里针对马氏距离对上述准则做较详细的讨论。

设)1(μ、)2(μ，)1(∑、)2(∑分别为G 1、G 2的均值向量和协方差矩阵。

如果距离定义采用马氏距离即2,1)()()(),()(1)()(2=-∑'-=-i X X G X D i i i i μμ这时判别准则可分以下两种情况给出： （1）当∑=∑=∑)2()1(时考察),(22G X D 及),(12G X D 的差，就有：)2(1)2()2(1112222),(),(μμμ-'--∑+∑'-∑'=-X X X X G X D G X D]2[)1(1)1()1(11μμμ-'--∑+∑'-∑'-X X X)()()(2)2()1(1)2()1()2()1(1μμμμμμ-∑'+--∑'=--X)()(212)2()1(1)2()1(μμμμ-∑'⎥⎦⎤⎢⎣⎡+-=-X令)(21)2()1(μμμ+=)()()()2()1(1μμμ-∑'-=-X X W则判别准则可写成：⎪⎩⎪⎨⎧==<<∈>>∈),(),(D 0)( ,),(),(D 0)(,),(),(D 0)(,12221222212221G X D G X X W G X D G X X W G X G X D G X X W G X 即当待判即当即当 当)2()1(,,μμ∑已知时，令),,()(1)2()1(1'∆-∑=-p a a a Λμμ则⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--=-'='-=p p p x x a a X a a X X W μμμμM Λ ),,()()()(111)()(111p p p x a x a μμ-++-=Λ显然，W (X )是p x x ,,1Λ的线性函数，称W (X )为线性判别函数，a 为判别系数。

距离判别法例题距离判别法是一种常用的统计学方法，用于确定两个或多个样本之间的相似性或差异性。

它是通过计算样本之间的距离来进行判别的。

例如，假设我们想要判断一组人的身高和体重是否存在明显的差异。

我们可以通过采集一定数量的男性和女性的身高和体重数据，并应用距离判别法来进行分析。

首先，我们需要选择一种适合的距离度量方法。

常见的距离度量方法包括欧几里德距离、曼哈顿距离和闵可夫斯基距离等。

在本例中，我们可以选择欧几里德距离，因为它能够考虑到身高和体重的绝对差异。

接下来，我们计算每个样本之间的距离。

假设我们有两个样本A和B，其中A是男性的身高和体重数据，B是女性的身高和体重数据。

我们可以计算A中每个男性样本与B中每个女性样本的距离，并将其组织成一个距离矩阵。

然后，我们可以利用距离矩阵来进行判别分析。

一种常见的方法是使用最近邻分类器。

对于每个待分析的样本，我们可以找到距离最近的K个样本，并根据它们的类别来判断待分析样本的类别。

通过应用距离判别法，我们可以得出一些结论。

例如，如果经过分析，我们发现男性和女性样本之间的距离非常大，则说明身高和体重在男女性别间存在着明显的差异。

反之，如果距离较小，则说明两者之间的差异不大。

当然，在实际应用中，我们可能会遇到一些挑战。

例如，样本之间的距离可能受到异常值的影响，这可能导致判别结果出现误差。

因此，在应用距离判别法时，我们需要对数据进行合理的处理和预处理，以确保结果的准确性和可靠性。

总而言之，距离判别法是一种有用的统计学方法，可以帮助我们确定样本之间的相似性或差异性。

它可以应用于各种领域，如生物学、医学、社会科学等，以帮助我们深入理解数据并得出有意义的结论。

判别分析——距离判别
通常采⽤的距离函数为：欧⼏⾥得距离 d(x,y)=||x-y||2
但在统计分析及计算中，通常采⽤马⽒距离：马⽒距离考虑了总体的分布情况
距离：两堆沙⼦，⼀堆紧凑⼀些，⼀堆松散⼀些，判断⼀块⽯头属于哪⼀堆？
不应该只计算直线距离，也许这块⽯头在紧凑的⼀堆的沙⼦的分布中属于异常值，所以应该考虑总体的分布情况。

因此距离判别的距离函数采⽤的为马⽒距离。

马⽒距离的R函数：mahalanobis(x,center,cov,inverted=FALSE) x样本数据；center为样本中⼼（均值），cov为样本的协⽅差
主要分为两种情况：
1.两总体的协⽅差矩阵相等
2.两总体的协⽅差矩阵不相等。

距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。

距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。

本文将对这三种方法进行比较，探讨它们的异同。

一、距离判别法距离判别法是一种基于距离度量的判别分析方法。

它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。

常见的距离判别法有欧氏距离判别法和马氏距离判别法。

1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。

它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。

算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。

2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。

3. 将待判样本点划分到距离最近的类别中。

2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。

它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。

算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。

2. 计算各个类别的协方差矩阵。

3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。

4. 将待判样本点划分到距离最近的类别中。

二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。

它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。

常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。

1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。

它通过计算后验概率，将样本划分到具有最高后验概率的类别中。

算法步骤如下： 1. 计算各个类别的先验概率。

2. 计算给定样本点在各个类别下的条件概率。

3. 计算给定样本点在各个类别下的后验概率。

4. 将待判样本点划分到具有最高后验概率的类别中。

多个总体距离判别法在统计学中，多个总体距离判别法（Multivariate Distance Discriminant Analysis）是一种常用的多元分析方法，用于确定多个总体之间的差异，以及对样本进行分类和预测。

该方法基于样本的距离测度，通过计算不同总体之间的距离来判别和分类样本。

1. 引言多个总体距离判别法属于无监督学习方法，通常用于分类或聚类分析。

该方法通过对样本进行距离计算，将样本点划分到不同的总体或群组中，从而实现对样本的分类或聚类。

多个总体距离判别法常用于识别和预测问题，可以应用于各个领域，如医学、生物学、社会科学等。

距离判别法基于样本之间的距离进行分类，其基本思想是相似的样本之间的距离较小，不相似的样本之间的距离较大。

通过计算样本之间的距离，可以生成一个距离矩阵，用于描述样本之间的差异。

在多个总体距离判别法中，常用的距离测度包括欧式距离、马哈拉诺比斯距离等。

2. 多个总体距离判别法算法步骤步骤1：收集数据首先需要收集观测数据，包括样本的各个变量。

数据可以是数值型、定类型或混合类型。

步骤2：计算距离矩阵根据收集到的数据，计算样本之间的距离矩阵。

距离矩阵描述了样本之间的相似度或差异度，可以使用不同的距离测度计算，如欧式距离、曼哈顿距离等。

步骤3：选择判别变量在进行多个总体距离判别分析之前，需要选择用于判别和分类的变量。

这些变量应具有明显的区分度，可以用于区分不同的总体或群组。

步骤4：判别函数的建立通过应用合适的判别函数，可以建立一个分类模型来判别和分类样本。

常用的判别函数包括最近邻法、线性判别法、贝叶斯判别法等。

步骤5：评估模型性能评估模型的性能是判别分析的重要步骤。

可以使用交叉验证、错误率等指标来评估模型的准确性和稳定性。

步骤6：模型应用与结果解释通过应用建立的判别模型，对新样本进行判别和分类。

同时，解释模型结果，了解不同变量对样本判别的贡献程度。

3. 应用举例多个总体距离判别法在实践中有着广泛的应用。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i 类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X =(x 1,……,x n )′和Y =(y 1,……,y m )′是从期望为μ＝（μ1，……,μm ）′和方差阵∑＝（σij ）m×m >0的总体G 抽得的两个观测值，则称X 与Y 之间的马氏距离为：d 2=(X −Y )′∑−1(X −Y)样本X 与G i 之间的马氏距离定义为X 与G i 类重心间的距离，即： d 2=(X −μi )′∑−1(X −μi ) i =1,2……,k附注：1、 马氏距离与欧式距离的关联：∑＝I ，马氏距离转换为欧式距离；2、 马氏距离与欧式距离的差异：马氏距离不受计量单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵∑相同的p 维正态总体，对给定的样本Y ，判别一个样本Y 到底是来自哪一个总体，一个最直观的想法是计算Y 到两个总体的距离。

故我们用马氏距离来给定判别规则，有：()()()()ïîïíì=<Î<Î),(),(22121222222121G y d G y d G d G d G G d G d G 如待判，，，如，，，，如，y y y y y y )()()()(),(),(1112121222m m m m -¢---¢-=---y y y y y y SSG d G d 22211y y y μμμ12---'+'-'=∑∑∑--∑'=-)(221μμ1y )()(212μμμμ-∑'+-11)(])([221121y μμμμ-∑'+-=-)2(1111μμμ---∑'+∑'-∑'-11y y y当 μ1、μ2 和∑已知时，是一个已知的p 维向量，W （y ）是y 的线性函数，称为线性判别函数。

36. 判别分析（一）基本原理判别分析，是用以判别个体所属类的一种统计方法。

其原理是根据已掌握的一批分类明确的样品，建立一个较好的判别函数，使得用该判别函数进行判别时错判事例最少，进而能用此判别函数对给定的一个新样品判别它来自哪个总体。

判别分析方法通常要给出一个判别指标（判别函数），同时还要指定一种判别规则。

一、距离判别法未知总体的样品x离哪个总体的距离最近，就判断它属于哪个总体。

1. 对于两个正态总体G1, G2距离选用马氏（Mahalanobis）距离：d2(x,G1) = (x-μ1)T∑1-1(x-μ1)d2(x,G2) = (x-μ2)T∑2-1(x-μ2)其中，μ1, μ2, ∑1, ∑2分别为总体G1, G22的均值和协差矩阵。

令W(x) = d2(x,G1) - d2(x,G2)称为判别函数，若∑1=∑2时，W(x)是线性函数，此时称为线性判别；若∑1≠∑2，W(x)是二次函数。

2. 多总体情况设有m个总体：G1, …, G m，其均值、协差阵分别为μi, ∑i. 对给定的样品x，按距离最近的准则对x进行判别归类：首先计算样品x到m个总体的马氏距离d i2(x), 然后进行比较，把x判归距离最小的那个总体，即若d h2(x) = min{ d i2(x) | i = 1,…,m}，则x∈G h.二、Fisher线性函数判别法为了方便使用，需要寻找尽量简单的判别函数，其中在Fisher 准则下的线性判别函数就是只利用总体的一、二阶矩就可求得的判别函数。

图1 Fisher线性判别分析示意图下面以两个总体为例来说明Fisher判别的思想。

设有两个总体G1、G2，其均值分别为μ1和μ2，协方差阵分别∑1和∑2，并假定∑1 = ∑2 = ∑，考虑线性组合：y = L T x。

通过寻求合适的L向量，使得来自两个总体的数据间的距离较大，而来自同一个总体数据间的差异较小。

为此，可以证明，当选L=c∑–1(μ1–μ2)，其中c ≠ 0时，所得的投影即满足要求。