L1范数,L2范数,L2,1范数(向量范数、矩阵范数、正则化) |
您所在的位置:网站首页 › 向量的范数等于0吗 › L1范数,L2范数,L2,1范数(向量范数、矩阵范数、正则化) |
参考文章如下:https://blog.csdn.net/lqzdreamer/article/details/79676305 https://blog.csdn.net/lqzdreamer/article/details/79676305 一、范数定义一般常用范数来衡量向量,向量的Lp范数定义为: Lp范数示意图: 从图中可以看出,p的取值在 [0,1) 之间,范数不具有凸性,实际优化过程中,无法进行,一般会把L0范数转化为L1范数。 二、向量范数 1.L0向量范数L0范数是指向量x中的非0个数,是一种度量向量的稀疏性的表示方法。例如:x=[1,1,0,1], 2.L1向量范数L1范数是向量中元素的绝对值之和,也是一种度量向量的稀疏性的表示方法。 三、矩阵范数 1.矩阵的L1范数 矩阵的L1范数定义为:所有矩阵列向量绝对值之和的最大值 2.矩阵的L2范数矩阵的L2范数定义为:矩阵的最大特征值的开方 其中λi为的特征值。 3.矩阵的F范数矩阵的F范数定义为:矩阵元素绝对值的平方和再开方 4.矩阵的L2,1范数矩阵的L2,1范数定义为:矩阵A的每一行的L2范数之和 在最小化问题中,只有每一行的L2范数都最小总问题才最小,而每一个函数取得最小的含义是,当行内尽可能多的元素为0的时候,约束才可以取到最小。 四、范数如何与正则化联系起来为了避免过拟合,我们常会给简单的函数加一个偏移,假如有两个函数都可以很好的拟合数据,我们会倾向于使用简单的那个,可以通过添加一个正则项来实现,也就是范数,常用形式: 其中λ是正则系数,表示想要正则化的程度。 五、为什么权重最小的范数可以实现正则化根据范数的定义,我们可以知道权重越大,范数越大,也就是说最小化范数可以得到一个相对简单的函数。总结来说,最小化权重的范数可以让过拟合函数变简单。 通过给我们最小化目标函数添加范数,可以促使拟合出权重较小的函数,带来了正则效应,提升了数据的泛化性。 六、L2,1范数特征选择在特征选择中,通过稀疏化的特征选择矩阵来选取特征,相当于是一种线性变换。 一行代表一个数据点,每一列代表一个特征分量。 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |