述马氏距离欧式距离Tanimoto测度的相同点和不同点

常⽤距离度量⽅法总结常⽤距离度量⽅法总结⼀、总结⼀句话总结：1、欧⽒距离2、马⽒距离3、曼哈顿距离4、闵可夫斯基距离5、汉明距离6、杰卡德相关系数7、余弦相似度8、切⽐雪夫距离9、⽪尔逊相关系数1、曼哈顿距离（Manhattan）？> 表⽰两个点在标准坐标系上的【绝对轴距之和】，两点在南北⽅向上的距离加上在东西⽅向上的距离，即【d（i，j）=|xi-xj|+|yi-yj|】。

2、汉明距离？> 汉明距离是⼀个概念，它表⽰【两个（相同长度）字对应位不同的数量】，⽐如：【1011101 与 1001001 之间的汉明距离是 2】3、余弦相似度（cosine similarity）？> ⽤向量空间中【两个向量夹⾓的余弦值】作为衡量两个个体间差异的⼤⼩。

4、切⽐雪夫距离（Chebyshev distance)？> 切⽐雪夫距离（Chebyshev distance）或是L∞度量是向量空间中的⼀种度量，⼆个点之间的距离定义为【其各座标数值差的最⼤值】。

设平⾯空间内存在两点，它们的坐标为(x1,y1)，(x2,y2)，则【dis=max(|x1−x2|,|y1−y2|)】，即【两点横纵坐标差的最⼤值】⼆、常⽤距离度量⽅法⼤全转⾃或参考：常⽤距离度量⽅法⼤全https:///jimchen1218/p/11504545.html有时候，我们需要度量两个向量之间的距离来决定他们的归属。

接下来列举⼀些常⽤的距离度量⽅法1、欧⽒距离2、马⽒距离3、曼哈顿距离4、闵可夫斯基距离5、汉明距离6、杰卡德相关系数7、余弦相似度8、切⽐雪夫距离9、⽪尔逊相关系数1、欧⽒距离：也叫欧⼏⾥得距离两点之间或多点之间的距离表⽰法⼆维空间的公式：其中，为点与点之间的欧⽒距离；为点到原点的欧⽒距离。

n维空间的公式：其实就是应⽤勾股定理计算两个点的直线距离，它会受指标不同单位刻度影响，所以，在使⽤前⼀般要先标准化，距离越⼤，个体间差异越⼤改进⽅法1：标准化欧⽒距离：针对各分量分布不⼀致，将各分量都标准化到均值，⽅差相等标准化后值：（标准化前的值-分量的均值）/分量标准差改进⽅法2：2、马⽒距离（Mahalanobis）：表⽰点与分布之间的距离，考虑到各种特性之间的联系，且尺度⽆关。

述马氏距离欧式距离T a n i m o t o测度的相同点和不同点第三章作业姓名：苏刚学号：1515063004 学院：数学与计算机学院一、述马氏距离、欧式距离、Tanimoto测度的相同点和不同点。

1.欧式距离(Euclidean distance)相当于高维空间内向量说表示的点到点之间的距离。

由于特征向量的各分量的量纲不一致，通常需要先对各分量进行标准化，使其与单位无关，比如对身高（cm）和体重（kg）两个单位不同的指标使用欧式距离可能使结果失效。

优点：简单,应用广泛(如果也算一个优点的话)缺点：没有考虑分量之间的相关性,体现单一特征的多个分量会干扰结果。

2.马氏距离( Mahalanobis distance)C=E[(X-X平均)(Y-Y平均)]为该类输入向量X的协方差矩阵.(T为转置符号，E取平均时是样本因此为n-1)适用场合：度量两个服从同一分布并且其协方差矩阵为C的随机变量X与Y的差异程度。

度量X与某一类的均值向量的差异程度,判别样本的归属。

此时，Y为类均值向量。

优点：独立于分量量纲，排除了样本之间的相关性影响。

缺点：不同的特征不能差别对待，可能夸大弱特征。

3.Tanimoto系数(又称广义Jaccard系数)通常应用于X为布尔向量，即各分量只取0或1的时候。

此时，表示的是X,Y的公共特征的占X，Y所占有的特征的比例。

马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离来代替马氏距离，也可以理解为，如果样本数小于样本的维数，这种情况下求其中两个样本的距离，采用欧式距离计算即可。

满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本在其所处的二维空间平面内共线（如果是大于二维的话，比较复杂）。

聚类使用距离相似度聚类是一种常用的数据分析技术，通过将具有相似特征的数据点分组，将数据点划分为不同的类别。

在聚类过程中，距离相似度是一个重要的概念，它用于确定数据点之间的相似程度。

本文将介绍聚类使用距离相似度的原理和应用。

一、距离相似度的概念距离相似度是衡量两个数据点之间的相似程度的指标。

常用的距离相似度度量方法有欧氏距离、曼哈顿距离、余弦相似度等。

1. 欧氏距离（Euclidean Distance）是最常用的距离度量方法，它表示两个数据点之间的直线距离。

欧氏距离的计算公式为：d(x,y) = √((x1-y1)²+(x2-y2)²+...+(xn-yn)²)。

2. 曼哈顿距离（Manhattan Distance）是指两个数据点在坐标系上的绝对轴距之和。

曼哈顿距离的计算公式为：d(x,y) = |x1-y1|+|x2-y2|+...+|xn-yn|。

3. 余弦相似度（Cosine Similarity）用于衡量两个向量的相似性。

余弦相似度的计算公式为：cosθ = A·B / (||A|| ||B||)，其中A和B分别表示两个向量。

聚类使用距离相似度的原理是基于数据点之间的相似性来进行分组。

在聚类算法中，首先需要选择一个合适的距离相似度度量方法。

然后，通过计算数据点之间的距离相似度，将相似度较高的数据点划分到同一类别中。

常用的聚类算法有K-means算法、层次聚类算法、DBSCAN算法等。

这些算法在聚类过程中都会使用距离相似度作为数据点之间的相似性度量。

K-means算法是一种迭代的聚类算法，它将数据点分为K个不同的类别。

在K-means算法中，首先需要随机选择K个初始聚类中心，然后根据距离相似度将数据点分配到离其最近的聚类中心。

接下来，重新计算每个聚类的中心点，并重复以上步骤，直到聚类中心不再发生变化为止。

层次聚类算法是一种自底向上的聚类算法，它通过计算数据点之间的距离相似度来构建一个层次化的聚类树。

相似度测度在模式识别中，衡量和评估模式与模式之间相似度的标准或者准则是相似度测度，包括距离和角度两个方面。

一、 距离：不同应用环境中对向量与向量距离的广义定义1． 欧式距离（Euclid ）a) 定义：欧式距离即欧几里德度量，它是被定义在欧几里德空间中。

b) 公式：定义点 )y ,...,y ,Y(y ),...,,(n 2121n x x x X∑==-++-+-=n 1i 2i i 2222211)y -(x)(...)()(),(n n E y x y x y x Y X Dc) 总结：X 与Y 的距离实质是（X-Y ）的模：Y X -，计算该距离之前要标准化模式向量单位2． 马氏距离（Mahalanobis ）a) 定义：马氏距离表示数据的协方差距离，是有效计算未知样本集的相似度的方法 b) 公式：定义多变量向量),...,(2,1n x x x X ，其均值为),...,,(21n m m m M ，协方差矩阵为∑ )()()(1M X M X X D T M -∑-=- 定义Y X ,服从同一分布，且协方差矩阵为的随机变量，则,差异度：)(X D M =c) 总结：当∑=1时马氏距离就是欧氏距离；马氏距离能够考虑到各个样本特征之间的相互联系且尺度无关3． 明氏距离（Minkowaki ）定义：明氏距离表示的是样本之间的街坊距离，如下图：公式： m nk m kj ik i i M y x y x D 11'),(⎥⎦⎤⎢⎣⎡-=∑= 总结：当m=2是明氏距离与街坊距离相等4． 汉明距离（Hamming ）欧式距离------街坊距离a) 定义：汉明距离用于信息论中，它对应的是两个等长的字符串在相同位置上不同字符的个数。

汉明重量是指一个字符串相对于与它等长的零字符串的汉明距离。

10011与11001的汉明距离是2， 10011的汉明重量是3b) 总结：汉明距离是在信息误差检测和矫正码领域提出来的；i. 信号距离：在数据传输过程中信号数据位发生翻转的次数；ii. 编辑距离（Levenshtein ）：两个字符之间有一个转成另一个所用的最少的编辑操作次数，操作包括：替换、插入、删除一个字符二、 对角度的测度1． 角度相似性函数1) 定义：改函数即是向量之间的夹角余弦2) 公式：定义Y X ,两个向量 YX Y X Y X S T *),(= 3) 总结：该函数反映了模式的几何特征，对放大和缩小相对变换无影响；当k k Y X ,为1，0，1=k X 表示有k 的特征，0=k Y 表示Y 无k 的特征，则该函数表达的是X 和Y 共有的特征数目的相似度测量2． Tanimoto 测度定义：Tanimoto 测度两个模式的共有特征和共占有特征的比公式定义Y X ,两个向量占有特征总数，中共有的特征Y X Y X, ),(22=-+=-+=Y X Y XY X Y X Y Y X X Y X Y X S T T T T T T T。

欧式距离和马氏距离的应用范围
距离是衡量两个对象间的空间距离的一种指标，在各种科学领域都有应用。

欧
氏距离和马氏距离是两种最常见的距离指标，它们之间有很多不同之处。

欧氏距离是一个通用的直观度量，指的是两个点之间真实世界中距离，可用于
描述空间结构以及多种数据类型之间的相似度。

常用于各种数据集处理，如文本检索，聚类分析，统计学中的概率分布预测等。

马氏距离是一种统计分析量，基于定义上的独立性，用于比较不同的组间模式
的差异性，特别是用于判断多维数据的变异特征，其中包括变量之间的相关性、协方差矩阵的特征值等，因此，它可以用于做数据挖掘等相关的分析和预测工作。

总的来说，欧氏距离和马氏距离都是用于识别和比较两个数据对象之间的距离，其中，前者是比较空间距离，而后者是比较数据空间特征之间的差异。

它们均受广泛应用，在数据挖掘、仿生学、计算机视觉，空间分布统计、检索引擎等众多领域得到了巨大的发挥。

马氏距离一、 马氏距离的定义马氏距离是由印度统计学家马哈拉诺比斯（P . C. Mahalanobis ）提出的，表示数据的协方差距离。

它是一种有效的计算两个未知样本集的相似度的方法。

定义1：两个服从同一分布G 并且其协方差矩阵为Σ的随机变量 x 与 y的差异程度：。

定义2：设分布G 均值为()12=,,,Tp µµµµK ，协方差矩阵为Σ的多变量向量为()12x=,,,T p x x x K ，其马氏距离为 。

说到马氏距离，不得不说的就是欧式距离，它是马氏距离的一种特殊情况：，即协方差矩阵为单位矩阵Σ=I 。

有人形象的解释了“马氏距离”与“欧式距离”的几何区别：欧式距离就好比一个参照值，它表征的是当所有类别等概率出现的情况下，类别之间的距离。

此时决策面中心点的位置就是两个类别中心的连线的中点。

如图1所示。

而当类别先验概率并不相等时，显然，如果仍然用中垂线作为决策线是不合理的，将出现判别错误（绿色类的点被判别为红色类），假设图1中绿色类别的先验概率变大，那么决策线将左移，如图2黄线。

左移的具体位置，就是通过马氏距离来获得的。

马氏距离中引入的协方差参数，表征的是点的稀密程度。

二、 距离表达式各部分的含义和来历若用通用的平方表达式表示：21()(): : :T D X M C X M X M C −=−−其中，模式向量均值向量该类模式总体的协方差矩阵三、 举例说明马氏距离的意义欧氏距离是定义在两个点之间的距离，维度的多少，并不会使得欧氏距离的公式更复杂。

它背后的思想，就是认为多维空间是各向同性的，往哪个方向走某一距离，意义都一样。

而马氏距离与欧氏距离的唯一区别，就是它认为空间是各向异性的。

各向异性的具体参数，是由一个协方差矩阵表示的。

把这个协方差矩阵考虑成一个多维正态分布的协方差阵，则这个分布的密度函数的等高线，就是个椭圆。

多维正态分布的密度函数（如下图）：多维正态分布的密度函数的等高线为椭圆（如下图）：1)从椭圆中心到椭圆上各点的马氏距离，都是相等的。

各种距离（欧⽒距离、曼哈顿距离、切⽐雪夫距离、马⽒距离等）在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采⽤的⽅法就是计算样本间的“距离”(Distance)。

采⽤什么样的⽅法计算距离是很讲究，甚⾄关系到分类的正确与否。

本⽂的⽬的就是对常⽤的相似性度量作⼀个总结。

本⽂⽬录：1.欧⽒距离2.曼哈顿距离3. 切⽐雪夫距离4. 闵可夫斯基距离5.标准化欧⽒距离6.马⽒距离7.夹⾓余弦8.汉明距离9.杰卡德距离& 杰卡德相似系数10.相关系数& 相关距离11.信息熵1. 欧⽒距离(EuclideanDistance)欧⽒距离是最易于理解的⼀种距离计算⽅法，源⾃欧⽒空间中两点间的距离公式。

(1)⼆维平⾯上两点a(x1,y1)与b(x2,y2)间的欧⽒距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧⽒距离：(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧⽒距离： 也可以⽤表⽰成向量运算的形式：(4)Matlab计算欧⽒距离Matlab计算距离主要使⽤pdist函数。

若X是⼀个M×N的矩阵，则pdist(X)将X矩阵M⾏的每⼀⾏作为⼀个N维向量，然后计算这M个向量两两间的距离。

例⼦：计算向量(0,0)、(1,0)、(0,2)两两间的欧式距离X= [0 0 ; 1 0 ; 0 2]D= pdist(X,'euclidean')结果：D=1.00002.0000 2.23612. 曼哈顿距离(ManhattanDistance)从名字就可以猜出这种距离的计算⽅法了。

想象你在曼哈顿要从⼀个⼗字路⼝开车到另外⼀个⼗字路⼝，驾驶距离是两点间的直线距离吗？显然不是，除⾮你能穿越⼤楼。

实际驾驶距离就是这个“曼哈顿距离”。

⽽这也是曼哈顿距离名称的来源，曼哈顿距离也称为城市街区距离(CityBlock distance)。