奇异值分解 (SVD)原理及python实现 | 您所在的位置:网站首页 › 奇异值分解计算步骤 › 奇异值分解 (SVD)原理及python实现 |
奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR decomposition)和极分解(Polar decomposition)等。这篇文章主要说下奇异值分解,这个方法在机器学习的一些算法里占有重要地位。 ———————————————————————————————————————————————————————— 定义下面引用 SVD 在维基百科中的定义。 In linear algebra, the singular value decomposition (SVD) is a factorization of a real or complex matrix. It is the generalization of the eigendecomposition of a positive semidefinite normal matrix (for example, a symmetric matrix with positive eigenvalues) to any m×nm×n matrix via an extension of polar decomposition. 也就是说 SVD 是线代中对于实数矩阵和复数矩阵的分解,将特征分解从 半正定矩阵 推广到任意 m×nm×n 矩阵。 注意:本篇文章内如未作说明矩阵均指实数矩阵。 假设有 m×nm×n 的矩阵 AA ,那么 SVD 就是要找到如下式的这么一个分解,将 AA 分解为 3 个矩阵的乘积: 其中,UU 和 VV 都是正交矩阵 (Orthogonal Matrix),在复数域内的话就是酉矩阵(Unitary Matrix),即 换句话说,就是说 UU 的转置等于 UU 的逆,VV 的转置等于 VV 的逆: 而 ΣΣ 就是一个非负实对角矩阵。 那么 UU 和 VV 以及 ΣΣ 是如何构成的呢? _____________________________________________________________________________________________________ 求解UU 和 VV 的列分别叫做 AA 的 左奇异向量(left-singular vectors)和 右奇异向量(right-singular vectors),ΣΣ 的对角线上的值叫做 AA 的奇异值(singular values)。 其实整个求解 SVD 的过程就是求解这 3 个矩阵的过程,而求解这 3 个矩阵的过程就是求解特征值和特征向量的过程,问题就在于 求谁的特征值和特征向量。 U 的列由知道了这些,那么求解 SVD 的步骤就显而易见了: 求_____________________________________________________________________________________________________ 举例假设 那么可以计算得到 接下来就是求这个矩阵的特征值和特征向量了 要想该方程组有非零解(即非零特征值),那么系数矩阵 求解这个行列式我就不再赘述了,这个直接使用行列式展开定理就可以了,可以得到 λ1≈29.86606875,λ2≈0.13393125,λ3=λ4=0,有 4 个特征值,因为特征多项式 | 这就是矩阵 U 了。 同样的过程求解 这就是矩阵 V 了。 而矩阵 Σ 根据上面说的为特征值的平方根构成的对角矩阵 到此,SVD 分解就结束了,原来的矩阵 A 就被分解成了 3 个矩阵的乘积。 ____________________________________________________________________________________________________ Numpy 实现Python 中可以使用 numpy 包的 linalg.svd() 来求解 SVD。
|
CopyRight 2018-2019 实验室设备网 版权所有 |