本文作为em算法在图模型中的一个应用，推导plsa的em算法。
1 em算法
em算法是解决一类带有隐变量模型的参数估计问题。
1.1 模型的定义
输入样本为
，对应的隐变量为
。待估计的模型参数为
，目标为极大化似然函数
对于上式的优化，不能通过直接对
进行求导，因为一旦求导，就有如下的形式：
显然是不好求的。?
1.2 em算法的迭代过程
a. 初始化：随机初始参数的
?
b. E step：
? ? ? ? ? ? 计算隐变量的后验分布
?c. M step:
? ? ? ? ? 迭代参数
? ? ? ? 其中，Q函数为X,Z的对数联合分布在Z的后验分布下的期望?
上面的式子，将样本和隐变量都表示成矩阵的形式，让人有些不太好套公式。
2 高斯混合模型
2.1 基本模型
?混合高斯模型认为，变量
服从一个多峰的高斯分布，由数个高斯分布组合而成。所以我们首先引入隐变量
。
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
PLSA的EM推导
时间： 2024-12-28 08:25:49