EM算法及对GMM的参数估计（EM算法的R实现 vs R mclust包）

【GMM中的隐变量 Z={z1,z2,...,zn} Z = { z 1 , z 2 , . . . , z n } 】

观测数据 xi x i （ i=1,2,...,n i = 1 , 2 , . . . , n ）是这样产生的：首先依照各高斯的权重 αl α l ，选出第 l l 个高斯分布，然后依照第ll个高斯的概率分布 N(X|θl) N ( X | θ l ) 生成观测数据 xi x i 。这时观测数据 xi x i （ i=1,2,...,n i = 1 , 2 , . . . , n ）是已知的，反映观测数据 xi x i 属于哪一个高斯分模型的数据是未知的，将这个未知的、观测不到的数据称为隐变量 zi z i （ i=1,2,...,n i = 1 , 2 , . . . , n ）。显然， zi∈{1,2,...,k} z i ∈ { 1 , 2 , . . . , k } 。

【EM算法的收敛性】

EM算法的核心就是按照 Θ(g+1) Θ ( g + 1 ) 和 Θ(g) Θ ( g ) 之间的等式关系，不断去更新参数，并且能保证每一次更新，都使得对数似然函数逐渐增大。证明EM算法的收敛性：

等式两边取对数并以 P(Z|X,Θ(g)) P ( Z | X , Θ ( g ) ) 为概率分布求期望：

则等式左边写为：

等式右边写为：

由Jensens不等式可以证明 H(Θ(g),Θ(g))≥H(Θ,Θ(g))，∀Θ H ( Θ ( g ) , Θ ( g ) ) ≥ H ( Θ , Θ ( g ) ) ， ∀ Θ

从而对于任意一次迭代更新参数 Θ(g+1) Θ ( g + 1 ) ，都有 H(Θ(g),Θ(g))≥H(Θ(g+1),Θ(g)) H ( Θ ( g ) , Θ ( g ) ) ≥ H ( Θ ( g + 1 ) , Θ ( g ) )

因此，只要 argmax{Q(Θ,Θ(g))} a r g m a x { Q ( Θ , Θ ( g ) ) } ，就能保证对数似然函数的最大化。注意 Q Q 函数中，Θ(g)Θ(g)是上一次迭代后得到的固定常数，而 Θ Θ 是一个变量，作 argmax a r g m a x 不会改变 Θ(g) Θ ( g ) 的值。

【EM算法的核心定义：E-step】

上述 Q(Θ,Θ(g)) Q ( Θ , Θ ( g ) ) 可以看作函数 logP(X,Z|Θ) l o g P ( X , Z | Θ ) 以概率分布 P(Z|X,Θ(g)) P ( Z | X , Θ ( g ) ) 求期望，其定义如下：

观测值与隐变量的联合概率：

在对应观测值已知的情况下，该观测值来源于哪个高斯的条件概率：

【求解 Θ(g+1) Θ ( g + 1 ) ：M-step】

将上述函数的定义代入 Q(Θ,Θ(g)) Q ( Θ , Θ ( g ) ) ，求导令其为零，得到 Θ(g+1) Θ ( g + 1 ) 的值：

其中， p(l|xi,Θ(g)) p ( l | x i , Θ ( g ) ) 称为responsibility probability，它是指当得到样本点 xi x i 后，该样本点属于第 l l 个高斯分布的概率。