Maximum likelihood (最大似然估计法)

最大似然估计法的基本思想
  最大似然估计法的思想很简单:在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个 作为真 的估计。
  我们分两种情进行分析:
  1.离散型总体 
  设 为离散型随机变量,其概率分布的形式为 ,则样本 的概率分布为 ,在 固定时,上式表示 取值 的概率;当 固定时,它是 的函数,我们把它记为 并称为似然函数。似然函数 的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值 ,那它出现的可能性应该是大的,即似然函数的值应该是大的。因而我们选择使 达到最大值的那个 作为真 的估计。

  2.连续型总体
  设 为连续型随机变量,其概率密度函数为 为从该总体抽出的样本。因为 相互独立且同分布,于是,样本的联合概率密度函数为
   ,在 是固定时,它是 处的 密度,它的大小与 落在 附近的概率的大小成正比,而当样本值 固定时,它是 的函数。我们仍把它记为 并称为似然函数。类似于刚才的讨论,我们选择使 最大的那个 作为真 的估计。

             

  总之,在有了试验结果即样本值 时,似然函数 反映了 的各个不同值导出这个结果的可能性的大小。 我们选择使 达到最大值的那个 作为真 的估计。这种求点估计的方法就叫作最大似然法。

  7.2.2 最大似然估计的求法
  假定现在我们已经观测到一组样本 要去估计未知参数 。一种直观的想法是,哪一组能数值使现在的样本 出现的可能性最大,哪一组参数可能就是真正的参数,我们就要用它作为参数的估计值。这里,假定我们有一组样本 .如果对参数的两组不同的值 ,似然函数有如下关系
   ,
  那么,从 又是概率密度函数的角度来看,上式的意义就是参数 使 出现的可能性比参数 使 出现的可能性大,当然参数 更像是真正的参数.这样的分析就导致了参数估计的一种方法,即用使似然函数达到最大值的点 ,作为未知参数的估计,这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见,以下记 ,求θ的极大似然估计就归结为求 的最大值点.由于对数函数是单调增函数,所以
                   (7.2.1)

 与 有相同的最大值点。而在许多情况下,求 的最大值点比较简单,于是,我们就将求 的最大值点改为求 的最大值点.对 关于 求导数,并命其等于零,得到方程组
           ,                           (7.2.2)
  称为似然方程组。解这个方程组,又能验证它是一个极大值点,则它必是 ,也就是 的最大值点,即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况下,问题比较复杂,似然方程组的解可能不唯一,这时就需要进一步判定哪一个是最大值点。
  还需要指出,若函数 关于 的导数不存在时,我们就无法得到似然方程组 (7.2.2),这时就必须根据最大似然估计的定义直接去 的最大值点。
  在一些情况下,我们需要估计 。如果 分别是 的最大似然估计,则称 的最大似然估计。
  下面我们举一些例子来说明求最大似然估计的方法。

   7.2.1 设从正态总体 抽出样本 ,这里未知参数为mm (注意我们把 看作一个参数)。似然函数为
                   
                    =
  它的对数为
  
  似然方程组为
           
  由第一式解得
            ,               (7.2.3)
    代入第二式得
            .             (7.2.4)
  似然方程组有唯一解( ),而且它一定是最大值点,这是因为当 或∞时,非负函数 。于是 的最大似然估计为
         .         (7.2.5)
  这里,我们用大写字母表示所有涉及的样本,因为最大似然估计 都是统计量,离开了具体的一次试验或观测,它们都是随机的。
  7.2.2 设总体 服从参数为的泊松分布,它的分布律为
        
  有了样本 之后,参数λ的似然函数为
           

  似然方程为
           
  解得
             .
  因为 的二阶导数总是负值,可见,似然函数在 处达到最大值。所以, 是λ的最大似然估计。
  例7.2.3设总体 上的均匀分布,求 的最大似然估计。
   的概率密度函数为
         
  对样本
         

  很显然,L(ab)作为ab的二元函数是不连续的。这时我们不能用似然方程组(7.2.2)来求最大似然估计,而必须从最大似然估计的定义出发,求L(ab)的最大值。为使L(ab)达到最大,ba应该尽量地小,但b又不能小于 ,否则,L(ab)=0。
  类似地,a不能大过 。因此,ab的最大似然估计为
         
             . 
  现在为止,我们以正态分布,泊松分布,均匀分布的参数以及事件发生的概率的估计为例子讨论了矩估计和最大似然估计。在我们所举的例子中,除了均匀分布外,两种估计都是一致的。矩估计的优点是简单,只需知道总体的矩,总体的分布形式不必知道。而最大似然估计则必须知道总体分布形式,并且在一般情况下,似然方程组的求解较复杂,往往需要在计算机上通过迭代运算才能计算出其近似解。

时间: 2024-10-13 19:10:04

Maximum likelihood (最大似然估计法)的相关文章

Maximum Likelihood 最大似然估计

这个算法解决的问题是,当我们知道一组变量的密度分布函数与从总体采样的个体的时候,需要估计函数中的某些变量. 假设概率密度函数如下: 一般来说,为了计算的方便性,我们会采取对数的方式 现在的目标是要使得上面函数取最大值,自变量为Θ,并且可以是一个向量. 求上面函数最大值,需要用到函数的一阶导数,求极值点,最终判断所要求的点. Reference: http://en.wikipedia.org/wiki/Maximum_likelihood

极大似然估计(maximum likelihood estimination)教程

极大似然估计法是求点估计的一种方法,最早由高斯提出,后来费歇尔(Fisher)在1912年重新提出.它属于数理统计的范畴. 大学期间我们都学过概率论和数理统计这门课程. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 用两个简单的例子来说明它们之间的区别. 由因推果(概率论) 例1:设有一枚骰子,2面标记的是"正",4面标记的是"反".共投掷10次,问:5次"正"面朝上的概率? 解:记 "正面"

【机器学习算法-python实现】最大似然估计(Maximum Likelihood)

1.背景 最大似然估计是概率论中常常涉及到的一种统计方法.大体的思想是,在知道概率密度f的前提下,我们进行一次采样,就可以根据f来计算这个采样实现的可能性.当然最大似然可以有很多变化,这里实现一种简单的,实际项目需要的时候可以再更改. 博主是参照wiki来学习的,地址请点击我 这里实现的是特别简单的例子如下(摘自wiki的最大似然) 离散分布,离散有限参数空间[编辑] 考虑一个抛硬币的例子.假设这个硬币正面跟反面轻重不同.我们把这个硬币抛80次(即,我们获取一个采样并把正面的次数记下来,正面记为

最大似然估计实例 | Fitting a Model by Maximum Likelihood (MLE)

参考:Fitting a Model by Maximum Likelihood 最大似然估计是用于估计模型参数的,首先我们必须选定一个模型,然后比对有给定的数据集,然后构建一个联合概率函数,因为给定了数据集,所以该函数就是以模型参数为自变量的函数,通过求导我们就能得到使得该函数值(似然值)最大的模型参数了. Maximum-Likelihood Estimation (MLE) is a statistical technique for estimating model parameters

极大似然估计(Maximum Likelihood)与无监督

1. 极大似然与最大概率 因为不是科班出身,所以最初接触极大似然的时候,总是很奇怪为什么叫极大似然,而不直接叫做最大概率? 后来才知道极大似然是用来估计未知参数的,而最大概率的表述更适合于已知参数的情况下,求解出现最大概率的变量的,举例如下: Max L(θ) = θ1x1+θ2x2+θ3x3 Max P(x) = θ1x1+θ2x2+θ3x3 Max L(θ)是拥有多组观测样本X时,估计θ参数的方法,而Max P(x)正好相反,是已知θ时,求解什么样的x出现会使得P最大. 2.  极大似然与无

【MLE】最大似然估计Maximum Likelihood Estimation

模型已定,参数未知 最大似然估计提供了一种给定观察数据来评估模型参数的方法,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知.我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差. 最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的.下面我们具体描述一下最大似然估计: 首先,假设为独立同分布的采样,θ为模型参数,f为我们所使用的模型,遵循我们上述的独

最大似然预计(Maximum Likelihood Estimation)

參考资料 [1]     盛骤, 谢式千, 潘承毅. 概率论和数理统计[J]. 2001. [2]     https://en.wikipedia.org/wiki/Maximum_likelihood [3]     https://www.youtube.com/watch? v=fvNUUJuFXM0 [4]     https://en.wikipedia.org/wiki/Independent_and_identically_distributed_random_variables

最大似然估计 (Maximum Likelihood Estimation), 交叉熵 (Cross Entropy) 与深度神经网络

最近在看深度学习的"花书" (也就是Ian Goodfellow那本了),第五章机器学习基础部分的解释很精华,对比PRML少了很多复杂的推理,比较适合闲暇的时候翻开看看.今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分. 单纯从原理上来说,最大似然估计并不是一个非常难以理解的东西.最大似然估计不过就是评估模型好坏的方式,它是很多种不同评估方式中的一种.未来准备写一写最大似然估计与它的好朋友们,比如说贝叶斯估计 (Beyasian Estimation), 最大后验估计(Max

【机器学习】极大似然估计法

原文链接 最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知".简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知.我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差. 最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的.下面我们具体描述一下最大似然估计: 首先,假设为独立同分布的采样,θ为模型参数,