EM（期望最大化）聚类算法详解

之前介绍过K-Means聚类，尽管这个算法很常用，但可能会遇到像聚类重叠，或聚类的形状不是圆形等问题。今天来学习一个新的聚类算法，叫EM聚类，这个算法本质上来说跟K-Means很像，但比K-Means全面更深入的描述一个聚类，因为除了利用均值（质心），还有方差（为了得到椭圆聚类），以及权重（聚类的size）。

为了更好地学习EM，先来举个例子：假设我们从一所高中里随机抽取了500个同学的鞋码数据，现在我们要在不知道任何信息的情况下对这500个数据进行分类，哪个是来自男生，哪个是来自女生；对于任何一堆数据我们都可以用高斯分布来拟合，基于这样一个假设，我们假定男生和女生的鞋码均满足不同参数下的高斯分布，并且给定一个初始的参数值（均值和方差），根据这个已知参数的高斯分布可以粗略地将每一个数据都划分到指定类（属于男生或女生）；另外由于男生的鞋码普遍比女生大，一般在39到44之间，那么均值大略就是42左右，所以如果有一个数据是41，那么我们就更大可能地将其分到男生，基于此判别，我们就得到了500个数据的初始分类，然后根据极大似然的求解方法，利用这些属于男生分类的鞋码数据重新估计男生鞋码的高斯分布的参数，同样的方法重新估计出女生鞋码的高斯分布的参数；接着在男生和女生的鞋码分布被重新估计之后，归属于这两个分布的概率也随之会发生变化，那么我们就继续更新，这样多次迭代，直到两类的分布参数变化甚小停止迭代更新。