极大似然估计（Maximum Likelihood Estimate，MLE）
??
由于样本数据，是实实在在发生的数据，有理由相信该样本出现的概率本来就比较大，极大似然估计假设该样本出现的概率是最大的，然后通过该样本寻找一组参数，该参数使得该样本出现的概率最大
??
比如：班里有 50 个男生，50 个女生，我们拥有所有男生的身高数据，也拥有所有女生的身高数据，假定男生的身高服从正态分布，女生的身高服从另一个正态分布，这时可以用极大似然法，通过 50 个男生和 50 个女生的样本来估计这两个正态分布的参数，该参数使得样本数据出现的概率最大
??
设有样本 \(\large X = (x_{1}, x_{2}, ..., x_{n})\)
预测算法的参数为 \(\small \theta\)，不同参数下 X 出现的概率不同，表示为
??
??\(\large P(X|\theta) = P(x_{1}, x_{2}, ..., x_{n}|\theta) = \prod_{i=1}^{n}P(x_{i}|\theta)\)
??
极大似然估计就是求解使得 \(\small P(X|\theta)\) 为最大值的 \(\small \theta\)
??
实际中为了方便计算，经常改成对数形式
??
??\(\large ln(\prod_{i=1}^{n}P(x_{i}|\theta)) = \sum_{i=1}^{n}(ln(P(x_{i}|\theta)))\)
??
以上面例子中的正态分布为例，一维正态分布函数为
??
??\(\large f(x) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^{2}}{2 \sigma^{2}})\)
??
则有
??
??\(\large P(X|\theta) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x_{i}-\mu)^{2}}{2 \sigma^{2}})\)
??
????? ? \(\large = (2\pi\sigma^{2})^{-\frac{n}{2}}exp(-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2})\)
??
取对数
??
??\(\large H(\mu,\sigma^{2}) = ln(P(X|\theta))\)
??
?????? ??\(\large = ln((2\pi\sigma^{2})^{-\frac{n}{2}}exp(-\frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}))\)
??
?????? ??\(\large = -\frac{n}{2}ln(2\pi)-\frac{n}{2}ln(\sigma^{2}) - \frac{1}{2\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\)
??
求导得到
??
??\(\large \frac{\partial H(\mu,\sigma^{2})}{\partial \mu} =\frac{1}{\sigma^{2}}\sum_{i=1}^{n}(x_{i}-\mu)\)
??
??\(\large \frac{\partial H(\mu,\sigma^{2})}{\partial \sigma^{2}}=-\frac{n}{2\sigma^{2}}+ \frac{1}{2\sigma^{4}}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\)
??
另导数为 0 求解得到
??
??\(\large \mu = \frac{1}{n}\sum_{i=1}^{n}x_{i}\)
??
??\(\large \sigma^{2} = \frac{1}{n}\sum_{i=1}^{n}(x_{i}-\mu)^{2}\)
??
这两个参数使得样本出现的概率最大
于是就用这两个参数代入正态分布函数，用以预测新的数据
原文地址：https://www.cnblogs.com/moonlight-lin/p/12495615.html