欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空

间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中

的欧氏距离就是两点之间的实际距离。

        图中红线代表曼哈顿距离，绿色代表欧氏距离，也就是直线距离，而蓝色和黄色代表等价的

曼哈顿距离。曼哈顿距离——两点在南北方向上的距离加上在东西方向上的距离，即d(i,j)=|xi-

xj|+|yi-yj|。对于一个具有正南正北、正东正西方向规则布局的城镇街道，从一点到达另一点的距离

正是在南北方向上旅行的距离加上在东西方向上旅行的距离，因此，曼哈顿距离又称为出租车距

离。曼哈顿距离不是距离不变量，当坐标轴变动时，点间的距离就会不同。曼哈顿距示意图在早期

的计算机图形学中，屏幕是由像素构成，是整数，点的坐标也一般是整数，原因是浮点运算很昂

贵，很慢而且有误差，如果直接使用AB的欧氏距离（欧几里德距离：在二维和三维空间中的欧氏

距离的就是两点之间的距离），则必须要进行浮点运算，如果使用AC和CB，则只要计算加减法即

可，这就大大提高了运算速度，而且不管累计运算多少次，都不会有误差。

标准化欧⽒距离是针对欧⽒距离的缺点⽽作的⼀种改进。

既然数据各维分量的分布不⼀样，那先将各个分量都“标准化”到均值、⽅差相等。

S 表示各个维度的标准差：

如果将⽅差的倒数看成⼀个权重，也可称之为加权欧⽒距离(Weighted Euclidean distance)。

       ⼏何中，夹⻆余弦可⽤来衡量两个向量⽅向的差异；机器学习中，借⽤这⼀概念来衡量样本向

量之间的差异。

⼆维空间中向量A(x1,y1)与向量B(x2,y2)的夹⻆余弦公式：

两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹⻆余弦为： 

        夹⻆余弦取值范围为[-1,1]。余弦越⼤表示两个向量的夹⻆越⼩，余弦越⼩表示两向量的夹⻆

越⼤。当两个向量的⽅向 重合时余弦取最⼤值1，当两个向量的⽅向完全相反余弦取最⼩值-1。 

 两个等⻓字符串s1与s2的汉明距离为：将其中⼀个变为另外⼀个所需要作的最⼩字符替换次数。

       汉明重量：是字符串相对于同样⻓度的零字符串的汉明距离，也就是说，它是字符串中⾮零的

元素个数，对于⼆进制字符串来说，就是 1 的个数，所以 11101 的汉明重量是 4。因此，向量空

间中的元素a和b之间的汉明距离等于它们汉明重量的差a-b。

应⽤：汉明重量分析在包括信息论、编码理论、密码学等领域都有应⽤。⽐如在信息编码过程中，

为了增强容错性，应使得编码间的最⼩汉明距离尽可能⼤。但是，如果要⽐较两个不同⻓度的字符

串，不仅要进⾏替换，⽽且要进⾏插⼊与删除的运算，在这种场合下，通常使⽤更加复杂的编辑距

离等算法。

       杰卡德相似系数(Jaccard similarity coefficient)：两个集合A和B的交集元素在A，B的并集中所

占的⽐例，称为两个集合的杰卡德相似系数，⽤符号J(A,B)表示：

       杰卡德距离(Jaccard Distance)：与杰卡德相似系数相反，⽤两个集合中不同元素占所有元素

的⽐例来衡量两个集合的区分度： 

马氏距离是基于样本分布的⼀种距离。

马氏距离是由印度统计学家⻢哈拉诺⽐斯提出的，表示数据的协⽅差距离。它是⼀种有效的计算两

个位置样本集的相似 度的⽅法。 与欧式距离不同的是，它考虑到各种特性之间的联系，即独⽴于

测量尺度。

       马氏距离也可以定义为两个服从同⼀分布并且其协⽅差矩阵为∑的随机变量的差异程度，如果

协⽅差矩阵为单位矩阵， 马氏距离就简化为欧式距离；如果协⽅差矩阵为对角矩阵，则其也可称

为正规化的欧式距离。 

计算马氏距离过程中，要求总体样本数⼤于样本的维数，否则得到的总体样本协⽅差矩阵逆矩阵不

存在，这种情况 下，⽤欧式距离计算即可。

        在数学中，切比雪夫距离或是L∞度量，是向量空间中的一种度量，二个点之间的距离定义是

其各坐标数值差绝对值的最大值。以数学的观点来看，切比雪夫距离是由一致范数（uniform

norm）（或称为上确界范数）所衍生的度量，也是超凸度量（injective metric space）的一种。

       闵可夫斯基距离 (Minkowski Distance)，也被称为 闵氏距离。它不仅仅是一种距离，而是将多

个距离公式（曼哈顿距离、欧式距离、切比雪夫距离）总结成为的一个公式。

两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：

K-L散度（Kullback–Leibler divergence），又称K-L距离，相对熵。

当P(x)和Q(x)的相似度越高，K-L散度越小。

K-L散度主要有两个性质：

（1）不对称性

尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有

对称性，即D(P||Q)!=D(Q||P)。

（2）非负性

相对熵的值是非负值，即D(P||Q)>0。