先验概率与后验概率

先验:从原因到结果;后验:从结果到原因。

先验概率:根据以往经验和分析得到的概率.。

后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。

举例理解(1):

先验——根据若干年的统计(经验)或者气候(常识),某地方下雨的概率;

似然——下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述;

后验——根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率;

后验 ~ 先验*似然 : 存在下雨的可能(先验),下雨之前会有乌云(似然)~ 通过现在有乌云推断下雨概率(后验)。

验概率可理解为统计概率,后验概率可理解为条件概率。

举例理解(2):设定背景:酒至半酣,忽阴云漠漠,骤雨将至。

情景一:
“天不会下雨的,历史上这里下雨的概率是20%”----先验概率
“但阴云漠漠时,下雨的概率是80%”----后验概率

情景二:
“飞飞别急着走啊,历史上酒桌上死人的概率只有5%“----先验概率
”可他是曹操啊,梦里都杀人“----后验概率

举例理解(3):用“瓜熟蒂落”这个因果例子,从概率(probability)的角度理解,

先验概率:就是常识、经验所透露出的“因”的概率,即瓜熟的概率。

后验概率:就是在知道“果”之后,去推测“因”的概率,也就是说,如果已经知道瓜蒂脱落,那么瓜熟的概率是多少。

后验和先验的关系可以通过贝叶斯公式来求。也就是:P(瓜熟 | 已知蒂落)=P(瓜熟)×P(蒂落 | 瓜熟)/ P(蒂落)

似然函数:根据已知结果去推测固有性质的可能性(likelihood),是对固有性质的拟合程度,所以不能称为概率。在这里就是说,不要管什么瓜熟的概率,只care瓜熟与蒂落的关系。如果蒂落了,那么对瓜熟这一属性的拟合程度有多大。似然函数,一般写成L(瓜熟 | 已知蒂落),和后验概率非常像,区别在于似然函数把瓜熟看成一个肯定存在的属性,而后验概率把瓜熟看成一个随机变量。

似然函数和条件概率的关系:似然函数就是条件概率的逆反。意为:L(瓜熟 | 已知蒂落)= C × P(蒂落 | 瓜熟),C是常数。具体来说,现在有1000个瓜熟了,落了800个,那条件概率是0.8。那我也可以说,这1000个瓜都熟的可能性是0.8C。

注意,之所以加个常数项,是因为似然函数的具体值没有意义,只有看它的相对大小或者两个似然值的比率才有意义,后面还有例子。

----------------------------------------------------------------------------------------------------

同理,如果理解上面的意义,分布就是一“串”概率。

先验分布:现在常识不但告诉我们瓜熟的概率,也说明了瓜青、瓜烂的概率

后验分布:在知道蒂落之后,瓜青、瓜熟、瓜烂的概率都是多少

似然函数:在知道蒂落的情形下,如果以瓜青为必然属性,它的可能性是多少?如果以瓜熟为必然属性,它的可能性是多少?如果以瓜烂为必然属性,它的可能性是多少?似然函数不是分布,只是对上述三种情形下各自的可能性描述。

那么我们把这三者结合起来,就可以得到:后验分布 正比于 先验分布 × 似然函数。先验就是设定一种情形,似然就是看这种情形下发生的可能性,两者合起来就是后验的概率。

至于似然估计:就是不管先验和后验那一套,只看似然函数,现在蒂落了,可能有瓜青、瓜熟、瓜烂,这三种情况都有个似然值(L(瓜青):0.6、L(瓜熟):0.8、L(瓜烂):0.7),我们采用最大的那个,即瓜熟,这个时候假定瓜熟为必然属性是最有可能的。

内容源自博客:https://blog.csdn.net/fjssharpsword/article/details/72356277

参考博客:https://www.cnblogs.com/yemanxiaozu/p/7680761.html

原文地址:https://www.cnblogs.com/go-go/p/9639829.html

时间: 2024-11-02 04:59:48

先验概率与后验概率的相关文章

先验概率、后验概率、似然估计,似然函数、贝叶斯公式

联合概率的乘法公式: (如果随机变量是独立的,则)  由乘法公式可得条件概率公式:, , 全概率公式:,其中 (,则,则可轻易推导出上式) 贝叶斯公式: 又名后验概率公式.逆概率公式:后验概率=似然函数×先验概率/证据因子.解释如下,假设我们根据“手臂是否很长”这个随机变量(取值为“手臂很长”或“手臂不长”)的观测样本数据来分析远处一个生物是猩猩类别还是人类类别(假设总共只有这2种类别).我们身处一个人迹罕至的深山老林里,且之前就有很多报道说这里有猩猩出没,所以无需观测样本数据就知道是猩猩的先验

先验概率与后验概率的区别(老迷惑了)

   此为Bayesian先生,敬仰吧,同志们!     先验(A priori:又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”.近代西方传统中,认为先验指无需经验或先于经验获得的知识.它通常与后验知识相比较,后验意指“在经验之后”,需要经验.这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”. 先验概率是指根据以往经验和分析得到的概率,如全概率公式 中的 ,它往往作为“由因求果”问题中的“因”出现.后验概率是指

先验概率、后验概率以及共轭先验

在贝叶斯学派的观点中,先验概率.后验概率以及共轭分布的概念非常重要.而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道.所以理清这些概念很有必要. 欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji,为保证公式.图表得以正确显示,强烈建议你从该地址上查看原版博文.本博客主要关注方向包括:数字图像处理.算法设计与分析.数据结构.机器学习.数据挖掘.统计分析方法.自然语言处理. 贝叶斯定理:一个例子 其实我们在之前介绍朴素贝叶斯分类器时就介绍过它,如果

先验概率、后验概率、似然函数与机器学习中概率模型(如逻辑回归)的关系理解

看了好多书籍和博客,讲先验后验.贝叶斯公式.两大学派.概率模型.或是逻辑回归,讲的一个比一个清楚 ,但是联系起来却理解不能 基本概念如下 先验概率:一个事件发生的概率 \[P(y)\] 后验概率:一个事件在另一个事件发生条件下的条件概率 \[P(y|x)\] 贝叶斯公式:联合概率公式直接能推导出来的,代表什么意义?不放在具体问题中代表不了任何意义 \[P(y|x) = \frac{{P(x|y)P(y)}}{{P(x)}}\] 拿一个实际的例子,如果用阴天预测是否下雨 先验概率:下雨的概率 \[

[转] 先验概率与后验概率&&贝叶斯与似然函数

from: https://blog.csdn.net/shenxiaoming77/article/details/77505549 先验概率和后验概率 教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故. 堵车的概率就是先验概率 . 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故,那么我们想算一下堵车的概率,这个就叫做条件概率 .也就是P(堵车|交通事故).这是有因求果. 如果我们已经出了门,

先验概率、后验概率、条件概率

今天看了 Larry Wasserman写的 All of Statistics中的第一章,第一章主要讲概率,其中最主要的就是贝叶斯公式.要了解贝叶斯公式,就得知道全概率公式: 通俗的讲,先验概率就是事情尚未发生前,我们对该事发生概率的估计,例如全概率公式中P(B)就是先验概率,求解方法有很多种,全概率公式是一种,也可以根据经验等,例如抛一枚硬币头向上的概率为0.5. 后验概率则是表示在事情已经发生的条件下,要求该事发生原因是有某个因素引起的可能性的大小. 先验概率是在缺乏某个事实的情况下描述一

【转载】先验概率与后验概率,生成模型与判别模型

[注]事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率 Generative Model 与 Discriminative Model [摘要]    - 生成模型(Generative Model) :无穷样本==>概率密度模型 = 产生模型==>预测- 判别模型(Discriminative Model):有限样本==>判别函数 = 预测模型==>预测 [简介] 简单的说,假设o是观察值,

先验概率和后验概率

个人觉得,对于抽象的问题,先举一个形象的例子,再与抽象的概念相结合,会更方便理解和记忆. 形象例子 [1] : 先验概率:投掷一个骰子,点数为1的概率是1/6,这就是先验概率. 后验概率:吃一道菜,你发现它是酸的,那么你猜这道菜加了醋的可能性为80%,这就是后验概率. 抽象概念 [2] : 先验概率:根据以往经验和分析得到的概率. 后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小. Reference: [1] https://www.cnblogs.com/yema

[转] 先验概率and后验概率

from: https://blog.csdn.net/yangang908/article/details/62215209 and : https://my.oschina.net/xiaoluobutou/blog/688245 先验概率: 事件发生前的预判概率.可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出.一般都是单独事件概率,如P(x),P(y). 后验概率: 事件发生后求的反向条件概率:或者说,基于先验概率求得的反向条件概率.概率形式与条件概率相同. 条件概