距离判别分析

判别分析判别分析又称“分辨法”，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。

其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。

据此即可确定某一样本属于何类。

1：距离判别的判别准则和判别函数：设总体A 和B 的均值向量分别为1μ和2μ，协方差阵分别为1∑和2∑，今给一个样本x 要判断x 来自哪一个总体。

若协方差相同，即1212μμ∑∑∑≠==，计算x 到总体A 和B 的Mahalanobis 距离(,)d x A 和(,)d x B ，Mahalanobis 的计算有以下定义：定义5.1 设x 是从均值为μ，协方差为∑的总体A 中抽取的样本，则总体A 内两点x 与y 的Mahalanobis 距离（简称马氏距离）定义为：(,)d x y =定义样本x 与总体A 的Mahalanobis 距离为：(,)d x A =然后进行比较，若(,)(,)d x A d x B ≤，则判定x 属于A ;否则判定x 来自B 。

由此得到如下判别准则：,(,)(,),(,)(,)A d x A d x B x B d x A d x B ≤⎧∈⎨≥⎩令T 112()()()w x x μ∑μμ-=-- 称()w x 为两总体距离的判别函数，由此判别准则变为,()0,,()0.A w x x B w x ≥⎧∈⎨≤⎩在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替，设1(1)(1)(1)12,,,nx x x ⋅⋅⋅是来自总体A 的1n 个样本点，2(2)(2)(2)12,,,n x x x ⋅⋅⋅是来自总体B 的2n 个样本,则样本的均值和协方差为 11ˆ,1,2in ii i j j iux x i n ====∑2()()()()T1211121211ˆ=()()()22in i i i i j ji j x x x x S S n n n n ==∑---++-+-∑∑ 其中()()()()T 1()(),1,2in i i i i i j j j S x x x x i ==--=∑对于待测样本x ，其判别函数定义为T 1(1)(2)ˆˆˆˆ()()()wx x x x x ∑-=-- 其中(1)(2)ˆˆˆ2x x x +=其判别准则为ˆ,()0,ˆ,()0.A wx x B wx ≥⎧∈⎨≤⎩ 2：若协方差不同，即1212μμ∑∑≠≠，对于样本x ，在方差不同的情况下，判别函数为 T -1T -1222111ˆˆ()()()()()W x x x x x μ∑μμ∑μ=----- 在实际计算中，总体的均值和协方差阵都是未知的，由此总体的均值与协方差需要用样本的均值和协方差来代替。

实验十 距离判别一、实验目的和要求掌握距离判别分析的理论与方法、模型的建立与误差率估计；掌握利用判别分析的SAS 过程解决有关实际问题.实验要求:编写程序，结果分析． 实验内容：要求:1题必做,2,3,4题可选1-2题1.写出几种距离公式,两总体距离判别准则;p 维空间两点T p x x x ),,,(21 =x ，T p y y y ),,,(21 =y 1.欧氏距离 ∑=-=pi i iy xd 12)()(y x,2.明氏距离 mpi m i i y x d 11])([)(∑=-=y x,3.马氏距离 211)]()[()(y x Σy x y x,--=-T d 线性判别函数)(),(),(21x x x W W W 的估计⎪⎪⎪⎩⎪⎪⎪⎨⎧+=--=+=+=-----)(21)(ˆ),(ˆ)(ˆ)(21b ˆ,ˆˆ)(ˆ)(21b ˆ,ˆˆ)(ˆ)2()1()2()1(1)2(1)2(2)2(12222)1(1)1(1)1(11111x x x x x S a x x a x x S x x S a x a x x S x x S a x a x ，＝＝－，＝＝－，＝其中T T T T T W b W b W (5.5) 两个总体的距离判别准则⎩⎨⎧<∈≥∈)(ˆ)(ˆ,)(ˆ)(ˆ,21221x x G x x x G x 1W W W W 若若 （5.6） 或 ⎩⎨⎧<∈≥∈0)(ˆ,0)(ˆ,2x G x x G x 1W W若若2.书上5.3 （1）两总体之间的广义平方距离线性判别函数 ∧∧∧+=j T jj b W x a (x)）常数项)(1)()(21j T j jb x S x --= 系数向量)(1j j xS a -∧=得到两总体的马氏平方距离为537.16),(ˆ212=G G d 反映了两总体的分离程度 线性判别函数为8765432117638.3038.3573.1924.73662.51623.07327.034858.50029.93)(ˆx x x x x x x x W ++-+-+++-=x 8765432124993.21473.69959.0806.51404.31685.02933.19719.45098.95)(ˆx x x x x x x x W ++-+--++-=x 以下结果是误判率的回带估计以下是交叉确认估计结果：用交叉确认法也将属于总体2G 的第17和19号样品误判为属于1G ，其余均回判正确，误判率的回代估计为:*2ˆ0.07427c p ==． 在此问距离判别分析中，西藏、上海、广东的判别结果如下：可以看到这三个省均以100%的判别概率分到了第二类，也即城镇居民消费指标比较高的类别中，从直观上感觉可能西藏的类别划分不是很准确。

判别分析——距离判别、Bayes判别一、距离判别1、距离判别所用DISCRIM过程（一般判别过程）简介常用格式如下：PROC DISCRIM<options>;CLASS variable;V AR variable;RUN;常用语句说明：1.PROC DISCRIM语句语句一般格式：PROC DISCRIM <options>；表示调用DISCRIM过程，开始执行判别分析。

<options>选项一般有如下几类：数据集选项（1）DATA=SAS-data-set：指定分析的数据集，缺省为最新创建数据集；（2）TESTDATA=SAS-data-set：指定待分类的输入观测数据集。

（3）OUT=SAS-data-set：生成输出数据集，包括来自输入数据集的所有数据，后验概率以及每个观测被重复替换后所分入的类。

判别方法选项（1）MEIHOD＝NORMAL|NPAR：确定导出分类准则的方法。

当指定方法为NORMAL时，导出的判别函数基于组内总体是正态分布的，而当指定的方法为NPAR时，导出的判别函数基于非参数方法，缺省时系统设定为正态。

（2）POOL＝NO|TEST|YES：确定计算平方距离是以合计协方差阵还是组内协方差阵为基础。

缺省时系统规定采用合并协方差阵导出线性判别函数，此时系统暗含假定各组协方差阵相等；POOL＝NO采用组内协方差阵导出线性判别函数，暗含假定各组协方差阵不相等;POOL＝TEST，对组内协方差阵进行齐性检验，根据检验结果导出判别函数。

其它常用判别方法选项（1）LIST：列出每个观测重复替换分类结果。

（2）WCOV：输出组内协力差阵的估计。

（3）PCOV：合并类内协方差阵估计。

（4）DISTANCE：输出类均值之间的平方距离（5）SIMPLE：输出简单描述统计量。

2. CLASS语句一般格式为：CLASS variable；该语句规定进行判别分析的分类变量，可以是字符型的，也可以是数值型的。

判别分析距离判别分析距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个跖离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。

设X=（s……以n）'和Y = O1，……,%）'是从期望为|1=（血,……川Q '和方差阵Y= （Ou）>0的总体G抽得的两个观测值，则称X与Y之间的马氏距离为:y mxmd2 =（X-Y）样本X与G,之间的马氏距离定义为X与类重心间的距离，即：9护=（乂一地）丫7（乂一&）i = 1,2・・.・・.,k附注：1、马氏距离与欧式距离的关联：为=1,马氏距离转换为欧式距离；2、马氏距离与欧式距离的差异：马氏距离不受计暈单位的影响，马氏距离是标准化的欧式距离两总体距离判别先考虑两个总体的情况，设有两个协差阵E相同的p维正态总体，对给定的样本Y,判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。

故我们用马氏距离来给定判别规则，有:如/(y, J2(y, G2),<yeGp 如〃2(y, G2)<d2(y9 Gj待判，如=〃2(y,G2)沪(y,Gj=(y 2)' "(y 2)(y J' L(y J=y- 2y为一1角 + “；賞“2 -(y^1y-2y^1 + 冲?如) =2y 0一1 (" - 角)-("i + “2)尸(“i - “2)= 2[y —丫》-“2）2令"=1虽« = Z_1(//1-//2) = (a1,a2,-.-,a p yW(y) = (y - p)U = a f(y一p.)= a1(y1-/z1) + --- + a p(y p-/7p)= a'y _a'ji则前面的判别法则表示为y w Gp 如W (y) > 0,y e G2,如FT (y ) < 0o待判，如W(Y) = 0当忙“2和刀已知时, "1 2)是一个已知的P维向量,W (y)是y的线性函数，称为线性判别函数。

距离判别法、贝叶斯判别法和费歇尔判别法的异同引言在模式识别领域，判别分析是一种常用的方法，用于将数据样本划分到不同的类别中。

距离判别法、贝叶斯判别法和费歇尔判别法是判别分析中常见的三种方法。

本文将对这三种方法进行比较，探讨它们的异同。

一、距离判别法距离判别法是一种基于距离度量的判别分析方法。

它的基本思想是通过计算样本点与各个类别中心的距离，将样本划分到距离最近的类别中。

常见的距离判别法有欧氏距离判别法和马氏距离判别法。

1. 欧氏距离判别法欧氏距离判别法是一种简单直观的距离判别方法。

它通过计算样本点与各个类别中心之间的欧氏距离，将样本划分到距离最近的类别中。

算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。

2. 对于给定的待判样本点，计算其与各个类别中心点的欧氏距离。

3. 将待判样本点划分到距离最近的类别中。

2. 马氏距离判别法马氏距离判别法考虑了各个类别的协方差矩阵，相比于欧氏距离判别法更加准确。

它通过计算样本点与各个类别中心之间的马氏距离，将样本划分到距离最近的类别中。

算法步骤如下： 1. 计算各个类别的中心点，即各个类别样本点的均值向量。

2. 计算各个类别的协方差矩阵。

3. 对于给定的待判样本点，计算其与各个类别中心点之间的马氏距离。

4. 将待判样本点划分到距离最近的类别中。

二、贝叶斯判别法贝叶斯判别法是一种基于贝叶斯理论的判别分析方法。

它的基本思想是通过计算后验概率，将样本划分到具有最高后验概率的类别中。

常见的贝叶斯判别法有贝叶斯最小错误率判别法和贝叶斯线性判别法。

1. 贝叶斯最小错误率判别法贝叶斯最小错误率判别法是一种理论上最优的判别方法。

它通过计算后验概率，将样本划分到具有最高后验概率的类别中。

算法步骤如下： 1. 计算各个类别的先验概率。

2. 计算给定样本点在各个类别下的条件概率。

3. 计算给定样本点在各个类别下的后验概率。

4. 将待判样本点划分到具有最高后验概率的类别中。

多个总体距离判别法在统计学中，多个总体距离判别法（Multivariate Distance Discriminant Analysis）是一种常用的多元分析方法，用于确定多个总体之间的差异，以及对样本进行分类和预测。

该方法基于样本的距离测度，通过计算不同总体之间的距离来判别和分类样本。

1. 引言多个总体距离判别法属于无监督学习方法，通常用于分类或聚类分析。

该方法通过对样本进行距离计算，将样本点划分到不同的总体或群组中，从而实现对样本的分类或聚类。

多个总体距离判别法常用于识别和预测问题，可以应用于各个领域，如医学、生物学、社会科学等。

距离判别法基于样本之间的距离进行分类，其基本思想是相似的样本之间的距离较小，不相似的样本之间的距离较大。

通过计算样本之间的距离，可以生成一个距离矩阵，用于描述样本之间的差异。

在多个总体距离判别法中，常用的距离测度包括欧式距离、马哈拉诺比斯距离等。

2. 多个总体距离判别法算法步骤步骤1：收集数据首先需要收集观测数据，包括样本的各个变量。

数据可以是数值型、定类型或混合类型。

步骤2：计算距离矩阵根据收集到的数据，计算样本之间的距离矩阵。

距离矩阵描述了样本之间的相似度或差异度，可以使用不同的距离测度计算，如欧式距离、曼哈顿距离等。

步骤3：选择判别变量在进行多个总体距离判别分析之前，需要选择用于判别和分类的变量。

这些变量应具有明显的区分度，可以用于区分不同的总体或群组。

步骤4：判别函数的建立通过应用合适的判别函数，可以建立一个分类模型来判别和分类样本。

常用的判别函数包括最近邻法、线性判别法、贝叶斯判别法等。

步骤5：评估模型性能评估模型的性能是判别分析的重要步骤。

可以使用交叉验证、错误率等指标来评估模型的准确性和稳定性。

步骤6：模型应用与结果解释通过应用建立的判别模型，对新样本进行判别和分类。

同时，解释模型结果，了解不同变量对样本判别的贡献程度。

3. 应用举例多个总体距离判别法在实践中有着广泛的应用。

判别分析——距离判别
通常采⽤的距离函数为：欧⼏⾥得距离 d(x,y)=||x-y||2
但在统计分析及计算中，通常采⽤马⽒距离：马⽒距离考虑了总体的分布情况
距离：两堆沙⼦，⼀堆紧凑⼀些，⼀堆松散⼀些，判断⼀块⽯头属于哪⼀堆？
不应该只计算直线距离，也许这块⽯头在紧凑的⼀堆的沙⼦的分布中属于异常值，所以应该考虑总体的分布情况。

因此距离判别的距离函数采⽤的为马⽒距离。

马⽒距离的R函数：mahalanobis(x,center,cov,inverted=FALSE) x样本数据；center为样本中⼼（均值），cov为样本的协⽅差
主要分为两种情况：
1.两总体的协⽅差矩阵相等
2.两总体的协⽅差矩阵不相等。

36. 判别分析（一）基本原理判别分析，是用以判别个体所属类的一种统计方法。

其原理是根据已掌握的一批分类明确的样品，建立一个较好的判别函数，使得用该判别函数进行判别时错判事例最少，进而能用此判别函数对给定的一个新样品判别它来自哪个总体。

判别分析方法通常要给出一个判别指标（判别函数），同时还要指定一种判别规则。

一、距离判别法未知总体的样品x离哪个总体的距离最近，就判断它属于哪个总体。

1. 对于两个正态总体G1, G2距离选用马氏（Mahalanobis）距离：d2(x,G1) = (x-μ1)T∑1-1(x-μ1)d2(x,G2) = (x-μ2)T∑2-1(x-μ2)其中，μ1, μ2, ∑1, ∑2分别为总体G1, G22的均值和协差矩阵。

令W(x) = d2(x,G1) - d2(x,G2)称为判别函数，若∑1=∑2时，W(x)是线性函数，此时称为线性判别；若∑1≠∑2，W(x)是二次函数。

2. 多总体情况设有m个总体：G1, …, G m，其均值、协差阵分别为μi, ∑i. 对给定的样品x，按距离最近的准则对x进行判别归类：首先计算样品x到m个总体的马氏距离d i2(x), 然后进行比较，把x判归距离最小的那个总体，即若d h2(x) = min{ d i2(x) | i = 1,…,m}，则x∈G h.二、Fisher线性函数判别法为了方便使用，需要寻找尽量简单的判别函数，其中在Fisher 准则下的线性判别函数就是只利用总体的一、二阶矩就可求得的判别函数。

图1 Fisher线性判别分析示意图下面以两个总体为例来说明Fisher判别的思想。

设有两个总体G1、G2，其均值分别为μ1和μ2，协方差阵分别∑1和∑2，并假定∑1 = ∑2 = ∑，考虑线性组合：y = L T x。

通过寻求合适的L向量，使得来自两个总体的数据间的距离较大，而来自同一个总体数据间的差异较小。

为此，可以证明，当选L=c∑–1(μ1–μ2)，其中c ≠ 0时，所得的投影即满足要求。

距离判别法例题距离判别法是一种常用的统计学方法，用于确定两个或多个样本之间的相似性或差异性。

它是通过计算样本之间的距离来进行判别的。

例如，假设我们想要判断一组人的身高和体重是否存在明显的差异。

我们可以通过采集一定数量的男性和女性的身高和体重数据，并应用距离判别法来进行分析。

首先，我们需要选择一种适合的距离度量方法。

常见的距离度量方法包括欧几里德距离、曼哈顿距离和闵可夫斯基距离等。

在本例中，我们可以选择欧几里德距离，因为它能够考虑到身高和体重的绝对差异。

接下来，我们计算每个样本之间的距离。

假设我们有两个样本A和B，其中A是男性的身高和体重数据，B是女性的身高和体重数据。

我们可以计算A中每个男性样本与B中每个女性样本的距离，并将其组织成一个距离矩阵。

然后，我们可以利用距离矩阵来进行判别分析。

一种常见的方法是使用最近邻分类器。

对于每个待分析的样本，我们可以找到距离最近的K个样本，并根据它们的类别来判断待分析样本的类别。

通过应用距离判别法，我们可以得出一些结论。

例如，如果经过分析，我们发现男性和女性样本之间的距离非常大，则说明身高和体重在男女性别间存在着明显的差异。

反之，如果距离较小，则说明两者之间的差异不大。

当然，在实际应用中，我们可能会遇到一些挑战。

例如，样本之间的距离可能受到异常值的影响，这可能导致判别结果出现误差。

因此，在应用距离判别法时，我们需要对数据进行合理的处理和预处理，以确保结果的准确性和可靠性。

总而言之，距离判别法是一种有用的统计学方法，可以帮助我们确定样本之间的相似性或差异性。

它可以应用于各种领域，如生物学、医学、社会科学等，以帮助我们深入理解数据并得出有意义的结论。