极大似然估计思想的最简单解释

极大似然估计思想的最简单解释

https://blog.csdn.net/class_brick/article/details/79724660?from=timeline

极大似然估计法的理解可以从三个角度入手,一个是整体性的思想,然后两个分别是离散状态的极大似然估计和连续状态的极大似然估计的简单例子。

一、思想

极大似然估计可以拆成三个词,分别是“极大”、“似然”、“估计”,分别的意思如下:
极大:最大的概率
似然:看起来是这个样子的
估计:就是这个样子的
连起来就是,最大的概率看起来是这个样子的那就是这个样子的。

举个例子:
有两个妈妈带着一个小孩到了你的面前,妈妈A和小孩长得很像,妈妈B和小孩一点都不像,问你谁是孩子的妈妈,你说是妈妈A。好的,那这种时候你所采取的方式就是极大似然估计:妈妈A和小孩长得像,所以妈妈A是小孩的妈妈的概率大,这样妈妈A看来就是小孩的妈妈,妈妈A就是小孩的妈妈。

总结:极大似然估计就是在只有概率的情况下,忽略低概率事件直接将高概率事件认为是真实事件的思想。

二、离散状态

知道了思想,接下来还是需要一定的计算,此处本人为了使更多的人能理解极大似然估计的思想和计算方法,此处的计算完全采取高中数学知识以内的内容进行推导。

例1、离散的小球问题:
箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p为0.7或者0.3,拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

分析:此处从数学上来讲,想要准确的求出拿到白球的概率是不可能的,所以此处求的是概率的极大似然估计。而这里的有放回的拿取,是高中数学中经典的独立重复事件,可以很简单的分别求出白球概率为0.7和0.3的时候拿三次都不是白球的概率。

解:
若拿到白球的概率为0.7,拿三次都不是白球的概率为:
P_0.7=0.3*0.3*0.3=0.027
若拿到白球的概率为0.3,拿三次都不是白球的概率为:
P_0.3=0.7*0.7*0.7=0.343

P_0.3>P_0.7,可知当前情况下白球概率为0.3的概率大于白球概率为0.7
综上所述:
拿到白球的概率的极大似然估计为0.3

三、连续状态

连续状态依然用刚刚拿小球的例子,不过此处白球的概率不再明确为0.7-0.3,此处只知道白球的概率p的范围为0.3<=p<=1。

例2、连续的小球问题:
箱子里有一定数量的小球,每次随机拿取一个小球,查看颜色以后放回,已知拿到白球的概率p的范围是[0.3,0.7],拿了三次,都不是白球,想要求拿到白球的概率的极大似然估计。

分析:与例1相同,想要知道小球的极大似然估计,就是要先求在已知条件下,发生已知事件的概率,然后据此求出小球的极大似然估计。

解:
记拿到白球的概率为p,取白球的事件为Y,取到时Y=1,未取到时Y=0,小球颜色不是白色的事件Y重复3次的概率为:
P(Y=0;p)=(1-p)^3
欲求p的极大似然估计,即要求P(Y=0;p)的极大值:
                       
令Q(p)=(1-p)^3
Q‘(p)=-3*(1-p)^2
令Q‘(p)=0
求得Q的极值点为p=1,且当p<1时,Q‘(p)<0,p>1时,Q‘(p)<0,可知Q(p)为单调减函数
可知0.3<=p<=1的条件下,p=0.3时,Q(p)取得最大值。

综上所述:小球概率的极大似然估计为0.3

四、总结

通过极大似然估计的思想、离散形式、连续形式的分析,可以得出极大似然估计的通常解法,总体来说分为以下几步:
1、得到所要求的极大似然估计的概率p的范围
2、以p为自变量,推导出当前已知事件的概率函数式Q(p)
3、求出能使得Q(p)最大的p
这样便求出了极大似然估计值p

原文地址:https://www.cnblogs.com/DicksonJYL/p/9429571.html

时间: 2024-08-24 20:32:58

极大似然估计思想的最简单解释的相关文章

极大似然估计与贝叶斯定理

文章转载自:https://blog.csdn.net/zengxiantao1994/article/details/72787849 极大似然估计-形象解释看这篇文章:https://www.zhihu.com/question/24124998 贝叶斯定理-形象解释看这篇文章:https://www.zhihu.com/question/19725590/answer/217025594 极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然

机器学习(二十五)— 极大似然估计、贝叶斯估计、最大后验概率估计区别

最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum aposteriori estimation, 简称MAP)是很常用的两种参数估计方法. 1.最大似然估计(MLE) 在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 也就是说,最大似然估计,就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值(模型已知,参数未知). (1)基本思想 当从模型总体

理解极大似然估计(MLE)

极大似然估计学习时总会觉得有点不可思议,为什么可以这么做,什么情况才可以用极大似然估计.本文旨在通俗理解MLE(Maximum Likelihood Estimate). 一.极大似然估计的思想与举例 举个简单的栗子:在一个盒子里有白色黑色小球若干个,每次有放回地从里面哪一个球,已知抽到白球的概率可能为0.7或者0.3,但不清楚,现在抽取三次,三次都没有抽到白球,请问盒子中一次抽到白球的概率是多少? 这类栗子有一个共性,我们假设白球的概率为p,然后用它去计算已知发生的事情“三次都是黑球”使其发生

[白话解析] 深入浅出 极大似然估计 &amp; 极大后验概率估计

[白话解析] 深入浅出极大似然估计 & 极大后验概率估计 0x00 摘要 本文在少用数学公式的情况下,尽量仅依靠感性直觉的思考来讲解 极大似然估计 & 极大后验概率估计,并且从名著中找了几个实例给大家看看这两种估计如何应用 & 其非常有趣的特点. 0x01 背景知识 1. 概率 vs 统计 概率(probability)和统计(statistics)看似两个相近的概念,其实研究的问题刚好相反. 1.1 概率 概率研究的是,已经知道了模型和参数后,给出一个事件发生的概率. 概率是一种

极大似然估计和最小二乘法

目录 1.极大似然估计 公式推导 2.最小二乘法 可能我从来就没真正的整明白过,只是会考试而已 搞清楚事情的来龙去脉不容易忘记 两个常见的参数估计法: 极大似然估计法和最小二乘法 1.极大似然估计 ref知乎,模型已定,参数未知的条件下,根据实验数据估计参数模型,等价于"利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值" 举个例子 一个麻袋里有白球与黑球,但是我不知道它们之间的比例,那我就有放回的抽取10次,结果我发现我抽到了8次黑球2次白球,我要求最有可能的黑白球之间

极大似然估计(maximum likelihood estimination)教程

极大似然估计法是求点估计的一种方法,最早由高斯提出,后来费歇尔(Fisher)在1912年重新提出.它属于数理统计的范畴. 大学期间我们都学过概率论和数理统计这门课程. 概率论和数理统计是互逆的过程.概率论可以看成是由因推果,数理统计则是由果溯因. 用两个简单的例子来说明它们之间的区别. 由因推果(概率论) 例1:设有一枚骰子,2面标记的是"正",4面标记的是"反".共投掷10次,问:5次"正"面朝上的概率? 解:记 "正面"

KMP 算法简单解释

KMP 算法简单解释 ? 讲KMP算法,离不开BF,实际上,KMP就是BF升级版,主要流程和BF一样,就是在削除回溯上花了点功夫,利用Next数组来削除 <( ̄︶ ̄)[GO!] 1. 先看看BF算法(暴力破解) int Brute_force_1(const char *S, const char *T) { if (!S || !T) return -1; int lenS = strlen(S); int lenT = strlen(T); int i = 0; //主串下标索引 int j

预编译命令简单解释(转载)

我的blog是用开源的BlogEngine来架设的,有的时候为了满足自己的需求及要对源代码做一些修改.在我调试客户端代码的时候,不管是使用Firebug或者是Vs 2008来调试,看到的Javascript代码都是经过动态压缩过了的,这个系统有一个HttpHanddle是专门用来处理js文件请求的,在第一次请求的时候会对js代码进行压缩,去掉了注释换行符等不必要的字符,这样可以提高访问的速度,但是对调试非常的不利,相信我们谁都不愿意对着一堆压缩过了的JS代码做调试.于是我想到了C#的预编译指令,

极大似然估计、贝叶斯估计、EM算法

参考文献:http://blog.csdn.net/zouxy09/article/details/8537620 极大似然估计 已知样本满足某种概率分布,但是其中具体的参数不清楚,极大似然估计估计就是把待估参数看做是确定性的量,只是其取值未知.最佳估计就是使得产生当前样本的概率最大下的参数值. 贝叶斯估计 已知样本满足某种概率分布,但参数未知.贝叶斯估计把待估参数看成符合某种先验概率分布的随机变量.对样本进行观测的过程就是把先验概率密度转化为后验概率密度,这样就利用样本信息修正了对参数的初始估