EM算法学习笔记

最近学习整理相关算法，发现EM算法和MLE估计都是十分优秀的算法。

首先最大似然估计是一种已知结果，通过改变参数theta使得这种结果出现的可能性最大。

而EM算法则是可以解决含有隐藏变量的问题。举个大家都用的例子，就是我们要统计某学校男女同学的身高，如果我们可以区分男女同学，那么用最大似然估计即可，但是现在我们无法知道某个同学的性别，那么怎么来推断男女同学的身高分布呢？

假设我们想估计知道A和B两个参数，在开始状态下二者都是未知的，但如果知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。