马氏距离和欧式距离的关系

基于欧式距离的判别分析

作者：唐宇政

来源：《现代商贸工业》2019年第09期

摘 要：分类判别问题在生活中是一个有着重要应用需求的问题。例如根据患者肺部阴影大小，是否低烧以及其它理化指标来判断是否为肺结核患者，或是根据邮件的内容或者发件地址来判断其是否属于垃圾邮件。在现实生活中，我们希望能够准确快速的解决这一类问题，往往需要利用历史数据来建立合理的分类器。因此重点介绍一种常见的基于距离的判别分类方法——欧氏距离判别法 。首先在第二部分详细介绍这种分类方法以及将其和另外一种常见的基于马氏距离的判别分类法进行比较。在第三部分，我们将进行实例分析，基于花瓣长度和花瓣宽度利用欧式距离判别法对鸢尾花进行分类。

关键词：分类问题;欧式距离;马氏距离

中图分类号：TB 文献标识码：Adoi：10.19311/ki.1672-3198.2019.09.092

1 背景

分类判别是指根据事物的不同点加以区分辨别，确定事物所属的类别，使具有更多相似点的事物归入一类，使之在大量事物中可以根据一定规律快速鉴别各个事物的所属种类。例如国家电网在对居民进行供电时，就可以根据以往的用电量数据对居民的用电情况进行划分，对用电量大的居民相应地收取更多的费用，从而达到促进节约用电的目的。在解决此类问题的过程中需要准确判别个体样本所属的类别，即应该划分的组别。本文中将介绍的是如何通过数学建模来快速准确完成这个分组判别的过程。本文中，我们将使用鸢尾花数据集，对150个鸢尾花数据样本进行分类判别，确定样本属于三种鸢尾花中的哪一种，来实例说明欧式距离判别法在现实生活中的可行性。

2 分类方法

判别分析法，是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。常见的判别分析法主要包括基于距离的判别、Fisher判别、Bayes 判别。本文主要研究对象是通俗易懂、应用范围广泛的基于距离的判别分析法。

述马氏距离欧式距离Tanimoto测度的相同点和不同点 第三章

作业

姓名：苏 刚 学号：1515063004 学院：数学与计算机学院

一、述马氏距离、欧式距离、Tanimoto测度的相同点和不同点。

1.欧式距离(Euclidean distance)

相当于高维空间内向量说表示的点到点之间的距离。

由于特征向量的各分量的量纲不一致，通常需要先对各分量进行标准化，使其与单位无关，比如对身高（cm）和体重（kg）两个单位不同的指标使用欧式距离可能使结果失效。

优点：简单,应用广泛(如果也算一个优点的话)

缺点：没有考虑分量之间的相关性,体现单一特征的多个分量会干扰结果。

2.马氏距离( Mahalanobis distance)

C=E[(X-X平均)(Y-Y平均)]为该类输入向量X的协方差矩阵.(T为转置符号，E取平均时是样本因此为n-1)适用场合：度量两个服从同一分布并且其协方差矩阵为C的随机变量X与Y的差异程度。度量X与某一类的均值向量的差异程度,判别样本的归属。此时，Y为类均值向量。

优点：独立于分量量纲，排除了样本之间的相关性影响。

缺点：不同的特征不能差别对待，可能夸大弱特征。

3.Tanimoto系数(又称广义Jaccard系数)

通常应用于X为布尔向量，即各分量只取0或1的时候。此时，表示的是X,Y的公共特征的占X，Y所占有的特征的比例。

马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，

最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离来代替马氏距离，也可以理

解为，如果样本数小于样本的维数，这种情况下求其中两个样本的距离，采用欧式距离计算即可。

多元统计分析(一) 马氏距离

(2010-02-02 15:54:09)

转载▼

标签：

杂谈 分类： 数学理论

当提到距离的时候，一般都会想到欧氏距离，更远一些还会想到范数，其实还有一种看不见的重要距离，那就是马氏距离。它由印度数学家马哈拉诺比斯(Mahalanobis)首先提出，所以又称为Mahalanobis Distance,是一种采样协方差来计算两点之间距离的方法。马氏距离功能强大,甚至连欧氏距离都是马氏距离的特殊情形。在了解马氏距离之前,不妨先观察下图：有两个正态分布的总体，它们的均值分别为a和b，但是方差不一样，则图中的A点离哪个总体近呢？显然，A离左边的更近，A属于左边总体的概率更大，尽管A与a的欧式距离远一些。这就是马氏距离的直观意义了。

马氏距离的定义如下：

定义1：设X，Y是从均值向量为μ,协方差阵为∑的总体G中抽取的两个样品，定义X，Y两点之间的马氏距离为：

定义2：X与总体G的马氏距离为：

根据马氏距离的定义，可以得到它的几个特点如下：

 两点之间的马氏距离与原始数据的测量单位无关。

 标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。

 可以排除变量之间的相关性的干扰。

 满足距离的四个基本公理：非负性、自反性、对称性和三角不等式。

马氏距离 负数

摘要：

1.马氏距离的定义

2.马氏距离与欧氏距离的比较

3.马氏距离的性质

4.马氏距离在机器学习中的应用

5.马氏距离的局限性

正文：

马氏距离（Mahalanobis distance）是一种在多元正态分布中使用的距离度量方法。与欧氏距离（Euclidean distance）不同，马氏距离可以衡量两个样本之间的差异，即使它们在原始空间中并不相邻。马氏距离的计算基于样本的协方差矩阵，因此它可以考虑样本之间的相关性。

马氏距离与欧氏距离的比较：

- 马氏距离衡量的是样本之间的差异，而欧氏距离衡量的是样本在原始空间中的距离。

- 马氏距离能够处理样本之间的相关性，而欧氏距离不能。

马氏距离的性质：

- 马氏距离是非负的，且当两个样本相同时，马氏距离为零。

- 马氏距离满足三角不等式，即对于任意的样本x、y、z，有d(x, y) <=

d(x, z) + d(z, y)。

马氏距离在机器学习中的应用： - 聚类：马氏距离可以用于衡量样本之间的相似性，从而实现高维数据的聚类。

- 回归：在多元正态分布假设下，马氏距离可以用于计算回归系数。

- 降维：通过将高维数据映射到低维空间，马氏距离可以用于可视化高维数据。

然而，马氏距离也有一些局限性：

- 计算复杂度：马氏距离的计算需要计算协方差矩阵，因此其计算复杂度较高。

- 依赖于分布：马氏距离依赖于多元正态分布的假设，因此在其他分布情况下可能不适用。

总之，马氏距离作为一种衡量样本之间差异的度量方法，在处理高维数据和考虑样本相关性方面具有优势，但其计算复杂度较高且依赖于特定分布假设。