极大似然估计（maximum likelihood estimination）教程

极大似然估计法是求点估计的一种方法，最早由高斯提出，后来费歇尔（Fisher）在1912年重新提出。它属于数理统计的范畴。

大学期间我们都学过概率论和数理统计这门课程。

概率论和数理统计是互逆的过程。概率论可以看成是由因推果，数理统计则是由果溯因。

用两个简单的例子来说明它们之间的区别。

由因推果（概率论）

例1：设有一枚骰子，2面标记的是“正”，4面标记的是“反”。共投掷10次，问：5次“正”面朝上的概率？

解：记 “正面”朝上为事件A，正面朝上的次数为x。

计算的时候，对表达式求最大值，得到参数值估计值。

这也把一个参数估计问题转化为一个最优化问题。

此外，我们甚至不知道一个系统的模型是什么。因此在参数估计前，先按照一定的原则选择系统模型，再估计模型中的参数。本文为了简单，模型设定为伯努利模型。

以上是对极大似然估计方法理论上的介绍，接下来介绍计算方法。

因此概率密度函数是指  在参数已知的情况下，随机变量的概率分布情况。

似然函数是指  在随机变量已知的情况下，参数取值的概率分布情况。

<span style="font-size:18px;">Objfun.m:
function f = objfun( x )
f = -(94*log(x(1)*exp(-x(2)*1))+6*log(1-(x(1)*exp(-x(2)*1))) + ...
    77*log(x(1)*exp(-x(2)*3))+23*log(1-(x(1)*exp(-x(2)*3))) + ...
    40*log(x(1)*exp(-x(2)*6))+60*log(1-(x(1)*exp(-x(2)*6))) + ...
    26*log(x(1)*exp(-x(2)*9))+74*log(1-(x(1)*exp(-x(2)*9))) + ...
    24*log(x(1)*exp(-x(2)*12))+76*log(1-(x(1)*exp(-x(2)*12))) + ...
    16*log(x(1)*exp(-x(2)*18))+84*log(1-(x(1)*exp(-x(2)*18))));
end

sample5.m
x0 = [0.1,0.1];   %给定初值
lb = [0,0];		%给定下限
ub = [];			%给定上限
[x,fval] = fmincon(@objfun,x0,[],[],[],[],lb,ub)

解得：
x =
   1.070111883136768   0.130825782195123
fval =
     3.053055671586732e+02</span>

参考文献：Myung I J. Tutorial on maximum likelihood estimation[J]. Journal of mathematical Psychology, 2003,
47(1): 90-100.