基础理论-极大似然

极大似然是什么?一时半会真的说不清,但是我们在日常生活中都用过这个理论。

比如我们要统计某省男女比例,不可能挨个统计,通常的作法是随机选N个人,看看这N个人的男女比例,就代表了整体的比例。

这就是极大似然。

 

官方解释

求未知参数点估计的一种重要方法。思路是设一随机试验在已知条件下,有若干个结果A,B,C,…,如果在一次试验中A发生了,则可认为在已知条件下最有利于A发生,

故应按照已知条件选择分布的参数,使发生A的概率最大。

通俗理解

1. 极大似然是用来求某种分布的参数的方法。那怎么求呢?

2. 在某种情况(模型已知,参数已定)下,我们通过做实验,甚至可以多做几次实验,看看实验结果,我们希望发生的事情发生了没,如果没发生,说明我们实验的方法不对(不能这么搞,说明前提(假设的分布)错了),

如果发生了,看看发生的概率,我们的目标是让这个概率尽量大,也就是让我们希望发生的事情尽可能发生。

极大似然的前提是样本独立同分布。

此时 P(AB)=P(A)P(B)

实例

有一个罐子,里面有黑白两种球,数目多少不知,两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例,但我们不能把罐中的球全部拿出来数。

现在我们可以每次任意从已经摇匀的罐中拿一个球出来,记录球的颜色,然后把拿出来的球 再放回罐中。这个过程可以重复,我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中,有七十次是白球,请

问罐中白球所占的比例最有可能是多少?

很多人马上就有答案了:70%。而其后的理论支撑是什么呢?

我们假设罐中白球的比例是p,那么黑球的比例就是1-p。因为每抽一个球出来,在记录颜色之后,我们把抽出的球放回了罐中并摇匀,所以每次抽出来的球的颜色服从同一独立分布。

这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中,七十次是白球的,三十次为黑球事件的概率是P(样本结果|Model)。

P(样本结果|Model)=P70(1-P)30

重点:这里要注意,实验结果70白30黑这件事,是在我们假设的情况下发生的,而这件事其实是真实的,我们要做的是让这件事尽可能发生,即发生的概率接近1,那么怎么尽可能发生,就是调整我们的分布参数。

事情尽可能发生,就是发生的概率最大,就是求P的导数

(P70(1-P)30)‘

=70P69(1-P)30+30P70(1-P)29*(-1)

=10P69(1-P)29(7(1-P)-3P)

=10P69(1-P)29(7-10P)

=0

P=0.7 正解

极大似然牵扯的东西挺多的,后期再更新吧

原文地址:https://www.cnblogs.com/yanshw/p/10448824.html

时间: 2024-10-06 18:00:07

基础理论-极大似然的相关文章

极大似然的估计的理解

什么是极大似然估计? 参数估计就是通过若干次试验,已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值.说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,我们通过最大概率反过来求其的参数值. 极大似然估计的原理? 一个随机试验如有若干个可能的结果A,B,C,-.若在仅仅作一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大.一般地,事件A发生的概率与参数theta相关,A发生的概率记为P(A,t

贝叶斯学习--极大后验概率假设和极大似然假设

在机器学习中,通常我们感兴趣的是在给定训练数据 D 时,确定假设空间 H 中的最佳假设. 所谓最佳假设,一种办法是把它定义为在给定数据 D 以及 H 中不同假设的先验概率的有关知识条件下的最可能(most probable)假设. 贝叶斯理论提供了计算这种可能性的一种直接的方法.更精确地讲,贝叶斯法则提供了一种计算假设概率的方法,它基于假设的先验概率.给定假设下观察到不同数据的概率.以及观察的数据本身. 要精确地定义贝叶斯理论,先引入一些记号. 1.P ( h )来代表还没有训练数据前,假设 h

如何通俗的理解极大似然估计

我昨天晚上买了一罐八宝粥 在里面找了半天桂圆 一般一罐八宝粥是有一颗桂圆的 我们现在可以通过数这一罐八宝粥中的各种原料的颗数 来推测 厂家在生产的时候的 原料的配比 这里的理论依据是就是极大似然估计 似然 是 像这个样子的意思 极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果(我手中的八宝粥)出现的模型参数值(厂家原料配比)! 换句话说,极大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知". 原文地址:ht

机器学习 LR中的参数迭代公式推导——极大似然和梯度下降

机器学习 LR中的参数迭代公式推导--极大似然和梯度下降 Logistic本质上是一个基于条件概率的判别模型(DiscriminativeModel). 函数图像为: 通过sigma函数计算出最终结果,以0.5为分界线,最终结果大于0.5则属于正类(类别值为1),反之属于负类(类别值为0). 如果将上面的函数扩展到多维空间,并且加上参数,则函数变成: 接下来问题来了,如何得到合适的参数向量θ呢? 由于sigma函数的特性,我们可作出如下的假设: 上式即为在已知样本X和参数θ的情况下,样本X属性正

贝叶斯————极大似然估计

贝叶斯决策 贝叶斯公式(后验概率): p(w):每种类别分布的概率——先验概率: p(x|w):某类别下x事件发生的概率——条件概率: p(w|x):x事件已经发生,属于某类的概率——后验概率: 后验概率越大,说明x事件属于这个类的概率越大,就越有理由把事件x归到这个类下 实际问题中,我们只知道优先数目的样本数据,先验概率和条件概率不知道,求不出后验概率.这个时候需要对先验概率和条件概率进行估计,然后再使用贝叶斯分类器. 先验概率的估计方法: 每个样本的属于哪个类是已知的(有监督学习): 依靠经

B-概率论-极大似然估计

目录 极大似然估计 一.最大似然原理 二.极大似然估计 三.似然函数 四.极大似然函数估计值 五.求解极大似然函数 5.1 未知参数只有一个 5.2 位置参数有多个 5.3 总结 更新.更全的<机器学习>的更新网站,更有python.go.数据结构与算法.爬虫.人工智能教学等着你:https://www.cnblogs.com/nickchen121/ 极大似然估计 一.最大似然原理 二.极大似然估计 极大似然估计是建立在最大似然原理的基础上的一个统计方法.极大似然估计提供了一种给定观察数据来

极大似然估计

极大似然估计又称最大似然估计,对于一个已知的模型来说,还有些参数是不确定的,但是有了真实数据,那么这些参数可不可计算出呢?或者估计出最有可能的情况? 举个例子,例如有一组来自正态分布(也叫高斯分布)的样本数据,每个样本的数据都独立同分布,比如是正态分布,但正态分布的参数μ,σ都不知道,如果用极大似然估计的方法就可以用这些样本数据就可估计出正态分布中参数.概括起来说,就是用样本来估计总体情况,(调查问卷.人口普查等等其实就暗含这个原理). 假设总体X的分布为f(x:θ1,...θn),其中θ是未知

【机器学习】极大似然估计法

原文链接 最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:"模型已定,参数未知".简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未知.我们没有人力与物力去统计全国每个人的身高,但是可以通过采样,获取部分人的身高,然后通过最大似然估计来获取上述假设中的正态分布的均值与方差. 最大似然估计中采样需满足一个很重要的假设,就是所有的采样都是独立同分布的.下面我们具体描述一下最大似然估计: 首先,假设为独立同分布的采样,θ为模型参数,

EM算法——有隐含变量时,极大似然用梯度法搞不定只好来猜隐含变量期望值求max值了

摘自:https://www.zhihu.com/question/27976634 简单说一下为什么要用EM算法 现在一个班里有50个男生,50个女生,且男生站左,女生站右.我们假定男生的身高服从正态分布 ,女生的身高则服从另一个正态分布: .这时候我们可以用极大似然法(MLE),分别通过这50个男生和50个女生的样本来估计这两个正态分布的参数. 但现在我们让情况复杂一点,就是这50个男生和50个女生混在一起了.我们拥有100个人的身高数据,却不知道这100个人每一个是男生还是女生. 这时候情