从数学角度看最大期望(EM)算法 II

【转载请注明出处】http://www.cnblogs.com/mashiqi

2015/3/13

对于隐变量只有有限个取值(比如个)的情况，我们可以将隐变量表示为，其中且。这样表示的目的主要是为了使后面的计算方便。如果：

????????

则我们可以把表示为：

????????

下面，我们看看怎么得到complete-data log-likelihood：

????????

因此，记，我们可以得到：

????????

如果我们能求得的极大值点，则一定有

????????

我们就可以把当作。

由于

????????

????????

因此，通常情况下我们优化的前面这一项就行了，许多介绍EM算法的资料也就是直接优化这一项。在这一项里面：

????????

带入式可得：

????????

为此我们需要计算这个后验概率：

????????

因此，

????????

我们求最优化问题：

????????

就可以得到新一轮的迭代结果。