《统计学习方法》：EM算法重点学习以及习题。

　　适用场景：有隐变量的时候特别适用。

　　EM算法主要分为两个步骤：E步和M步。

　　输入：选择参数的初值theta，进行迭代。

　　E步： 每次迭代改变初值。定义Q函数。Q函数为迭代的期望值。

　　M步： 求使E步得到的Q函数最大的theta值。

　　最后，重复进行E步和M步。直到最终theta值变化较小，即为收敛为止。

　　注意：初值为算法的选择尤为重要。初值的选择会影响结果。

　　EM算法得到的估计序列能够最终收敛得到结果。但是收敛得到的结果并不能保证能够收敛到全局最大值或者局部最大值。

　　EM算法在两个方面极其有用：在高斯混合模型学习之中非常有用。

　　EM算法可以解释F函数的极大-极大算法。广义期望极大算法（GEM）算法是基于这个解释的推广与应用。

　　GEM算法有三种解法：见《统计学习方法》的P168，P169