七月算法-12月机器学习在线班--第十四次课笔记—EM算法

七月算法（julyedu.com）12月机器学习在线班学习笔记http://www.julyedu.com

?

EM Expection Maxium 期望最大化

1 引例

1000人，统计身高，1.75，1.62,1.94，有多少男女，每个身高对应的男女

?

1.1 如何算？利用极大似然估计，估算均值和方差

上述结论和矩估计的结果是一致的，

即：样本的均值即高斯分布的均值，样本的伪方差即高斯分布的方差。

如果是高斯分布，就可以这么用本计算，均值和方差

?

设定，男女的身高服从两个高斯分布

随机变量X是有K个高斯分布混合而成，若观测到随机变量X的一系列样本x1,x2,...,xn，

则目标函数为：对数似然函数

由于在对数函数里面又有加和，没法直接用求导解方程的办法直接求得极大值。分成两步

?

1.2 直观上的理解EM

STEP1:
估算数据来自哪个组份

STEP2:
估计每个组份的参数

1.3 高斯式证明

有上图的图中可以得知：做期望的极大，不停的做期望的极大

?

利用Jensen不等式（凸优化可以直接用）

令Qi是z的某一个分布，Qi≥0，有：

进一步分析：有上面的等式成立可以得知，p,q成正比;

则可以得到EM的整体框架图

?

1.4 从理论公式推导GMM

随机变量X是有K个高斯分布混合而成取各个高斯分布的概率为φ1φ2... φK，第i个高斯分布的均值为μi，方差为Σi。若观测到随机变量X的一系列样本x1,x2,...,xn，试估计参数π，μ，Σ。

分别是E-STEP,和M-step

E-STEP:

M-step：（先写出期望，在求极大值）

对均值求偏导，令上式等于0，解的均值：

同理，可以得到方差的值。

在得到方差和均值后，对φ求偏导，约束条件是φ1+φ2+... φK=1，也就是带等式的约束条件求极值，拉格朗日乘子法

最终得到的式子和，最原先开始欧拉式的解释一样

对于所有的数据点，可以看作组份k生成了这些点。组份k是一个标准的高斯分布

带有隐变量的方法：EM+变分

?