非负矩阵分解（1）：准则函数及KL散度 – 桂。

作者：桂。

时间：2017-04-06  12:29:26

链接：http://www.cnblogs.com/xingshansi/p/6672908.html 

声明：欢迎被转载，不过记得注明出处哦~

前言

之前在梳理最小二乘的时候，矩阵方程有一类可以利用非负矩阵分解（Non-negative matrix factorization, NMF）的方法求解，经常见到别人提起这个算法，打算对此梳理一下。优化问题求解，最基本的是问题描述与准则函数的定义，紧接着才涉及准则函数的求解问题，本文为NMF系列第一篇，主要梳理：

　　1）矩阵方程基本问题；

　　2）准则函数定义；

内容为自己的学习总结，其中多有借鉴他人的地方，最后一并给出链接。

一、矩阵方程基本问题

本段描述NMF对应的基本问题。

许多问题都可以建模成矩阵方程：

${\bf{AS}} = {\bf{X}}$

其中根据向量和矩阵的不同，矩阵方程的求解主要分为以下三类问题：

1）超定矩阵方程；m>n，$\bf{X}$和$\bf{A}$均已知，其中之一或二者可能存在观测误差、干扰；

2）盲矩阵方程：仅向量$\bf{X}$已知，矩阵$\bf{A}$未知；

3）欠定稀疏矩阵方程：m