奇异值分解（一）

2023-11-24 09:12| 来源: 网络整理| 查看: 265

奇异值分解(Singular Value Decomposition，简称SVD)是机器学习领域应用最广泛的算法。被广泛应用在降维算法、推荐系统以及自然语言处理等领域。

1、SVD的发展历史

Beltrami（1835-1899）和Jordan（1838-1921）被公认是奇异值分解的创始人。

1873年Beltrami提出了实正方矩阵的奇异值分解：

1874年Jordan发表了对奇异值分解的独立推导；

1902年Autonne将奇异值分解推广到复正方矩阵；

1939年Eckart与Young将奇异值分解推广到了一般复长方形矩阵。

所以又将任意复长方矩阵的奇异值分解又称为Autonee-Eckart-Young定理。

2、奇异值分解的定义

定理1（矩阵的奇异值分解）

令 $A\in R^{m\times n}$ （或 $C^{m\times n}$ ），则存在正交或酉矩阵 $U\in R^{m\times n}$ （或 $C^{m\times m}$ ）和 $V\in R^{n\times n}$ (或 $C^{n\times n}$ )使得

$A=U\Sigma V^{T}$ (或 $U\Sigma V^{H}$ ) （1）

其中，U是大小为 $m\times m$ 的矩阵，对应着 $AA^{T}$ 的m个特征向量；V是大小为 $n\times n$ 的矩阵，对应着 $A^{T}A$ 的n个特征向量； $\sum =\begin{bmatrix} \sum _{1} & O\\ O& O \end{bmatrix}$ ，且 $\sum _{1}=diag(\sigma _{1},\sigma _{2},...,\sigma _{r})$ ，其对角元素（矩阵A的奇异值）按照顺序

$\sigma ^{_{1}}\geqslant \sigma _{2}\geqslant ...\geqslant \sigma _{r} 0,r=rank(A)$

排列。对角线上的元素对应着矩阵 $AA^{T}$ 或 $A^{T}A$ 的非负特征值的的平方根。

但是公式（1）不实用，SVD要实现降维需要对矩阵做截断处理。

当矩阵A的秩r

【本文地址】

公司简介

联系我们