范数在数学中的意义

首先，函数与几何图形往往是有对应的关系，这个很好想象，特别是在三维以下的空间内，函数是几何图像的数学概括，而几何图像是函数的高度形象化，例如一个函数对应几何空间上若干点组成的图形。 但当超出三维空间时，就难以获得较好的想象，于是就有了映射的概念。映射表达的就是一个集合通过某种关系转为另外一个集合。通常数学书是先说映射，然后再讨论函数，这是因为函数是映射的一个特例。 为了更好的在数学上表达这种映射关系，（这里特指线性关系）于是就引进了矩阵。这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。那么向量 的范数，就是表示这个原有集合的大小。而矩阵的范数，就是表示这个变化过程的大小的一个度量。 那么说到具体几几范数，其不过是定义不同，一个矩阵范数往往由一个向量范数引出，我们称之为算子范数，其物理意义都如我上述所述。 接下来用百度回答方式： 0范数，向量中非零元素的个数。 1范数，为绝对值之和。 2范数，就是通常意义上的模。 无穷范数，就是取向量的最大值。 具体怎么用，看不同的领域，看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断，如果理解上述的意义，在计算机领域，一般迭代前后步骤的差值的范数表示其大小，常用的是二范数，差值越小表示越逼近实际值，可以认为达到要求的精度，收敛。

总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。 在上面的例子里，我们用的范数是平方求和然后再开方，范数还有很多其他的类型，这个就要看具体的定义了，理论上我们也可以把范数定义为只比较x轴上数字的绝对值。 PS：我这里说的是向量范数。

什么一范数二范数也是用来度量一个整体，比如两个个班的人比较高度，你可以用班里面最高的人（无穷范数）去比较，也可以用班里所有人的身高总和比较（一范数），也可以求平均（几何平均？忘记了。。）（类似二范数）。 举一个简单的例子，一个二维度的欧氏几何空间 R ^2就有欧氏范数。在这个向量空间的元素（譬如：(3,7)）常常在笛卡儿坐标系统被画成一个从原点出发的箭号。每一个向量的欧氏范数就是箭号的长度。 范数本质上不是距离，而是向量的长度。范数可以导出距离。

我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。 在数学上，范数包括向量范数和矩阵范数，**向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。**一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；对于矩阵范数，学过线性代数，我们知道，通过运算AX=B，可以将向量X变化为B，矩阵范数就是来度量这个变化大小的。

这里简单地介绍以下几种向量范数的定义和含义 1、 L-P范数 与闵可夫斯基距离的定义一样，L-P范数不是一个范数，而是一组范数，其定义如下： 根据P 的变化，范数也有着不同的变化，一个经典的有关P范数的变化图如下： 上图表示了p从无穷到0变化时，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。以常见的L-2范数（p=2）为例，此时的范数也即欧氏距离，空间中到原点的欧氏距离为1的点构成了一个球面。实际上，在0时，Lp并不满足三角不等式的性质，也就不是严格意义下的范数。以p=0.5，二维坐标(1,4)、(4,1)、(1,9)为例，。因此这里的L-P范数只是一个概念上的宽泛说法。 2、L0范数 当P=0时，也就是L0范数，由上面可知，L0范数并不是一个真正的范数，它主要被用来度量向量中非零元素的个数。用上面的L-P定义可以得到的L-0的定义为： 这里就有点问题了，我们知道非零元素的零次方为1，但零的零次方，非零数开零次方都是什么鬼，很不好说明L0的意义，所以在通常情况下，大家都用的是： 表示向量x中非零元素的个数。对于L0范数，其优化问题为： 在实际应用中，由于L0范数本身不容易有一个好的数学表示形式，给出上面问题的形式化表示是一个很难的问题，故被人认为是一个NP难问题。所以在实际情况中，L0的最优问题会被放宽到L1或L2下的最优化。 3、L1范数 L1范数是我们经常见到的一种范数，它的定义如下： 表示向量x中非零元素的绝对值之和。 L1范数有很多的名字，例如我们熟悉的曼哈顿距离、最小绝对误差等。使用L1范数可以度量两个向量间的差异，如绝对误差和（Sum of Absolute Difference）： 对于L1范数，它的优化问题如下： 由于L1范数的天然性质，对L1优化的解是一个稀疏解，因此L1范数也被叫做稀疏规则算子。通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。 4、L2范数 L2范数是我们最常见最常用的范数了，我们用的最多的度量距离欧氏距离就是一种L2范数，它的定义为： 表示向量元素的平方和再开平方。 像L1范数一样，L2也可以度量两个向量间的差异，如平方差和（Sum of Squared Difference）: L2范数通常会被用来做优化目标函数的正则化项，防止模型为了迎合训练集而过于复杂造成过拟合的情况，从而提高模型的泛化能力。 5、L∞范数 当P=∞时，也就是L∞范数，它主要被用来度量向量元素的最大值，与L0一样，通常情况下表示为 来表示L∞。