先验概率与后验概率的区别(老迷惑了)

   此为Bayesian先生,敬仰吧,同志们!

    先验A priori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。

先验概率是指根据以往经验和分析得到的概率,如全概率公式 中的 ,它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的“因” 。后验概率是基于新的信息,修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入,更新了现在所谓的后验概率,得到了新的概率值,那么这个新的概率值被称为后验概率。

先验概率的分类:

利用过去历史资料计算得到的先验概率,称为客观先验概率;

当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。

后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。

先验概率和后验概率的区别:

先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;

  先验概率的计算比较简单,没有使用贝叶斯公式;而后验概率的计算,要使用贝叶斯公式,而且在利用样本资料计算逻辑概率时,还要使用理论概率分布,需要更多的数理统计知识。

下面转自其他博客

先验概率与后验概率

"概率就是无知, 而不是事务本身是随机的".

事情有N种发生的可能,我们不能控制结果的发生,或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力. 新发一个物种, 到底是猫,还是小老虎呢(朱道元的经典例子)? 是由于我们的无知才不能确定判断.

先验概率 ( Prior probability)

先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率.  先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p,  在进行民意调查之前, 可以先验概率来表达这个不确定性.

后验概率 ( posterior probability)

Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured.

后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来.  下面的公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度:

其中fX(x) 为X的先验密度,

LX | Y = y(x) = fY | X = x(y) 为似然函数..

看了很多张五常的文章以后,思考一些经济学或者统计学的问题,都试着从最简单处入手。
一次,在听一位英国帝国理工大学的教授来我们学校讲学,讲的主要是经济计量学的建模,以及一些具体应用实例,没想到听报告过程中,一直在思考一道最简单的概率问题。关于“抛硬币”试验的概率问题。
问题是这样的:
1、多次抛硬币首先是一个贝努利试验,独立同分布的
2、每次抛硬币出现正、反面的概率都是1/2
3、当然硬币是均匀同分布的,而且每次试验都是公正的
4、在上述假设下,假如我连续抛了很多次,例如100次,出现的都是正面,当然,稍懂概率的人都知道,这是一个小概率事件,但是小概率事件是可能发生的。我要问你,下次也就是我抛第101次,出现正、反的概率是不是相等。我认为是不相等的,出现反面的概率要大于正面。我的理由是,诸如“抛硬币”等独立同分布试验都有无数人试验过,而且次数足够多时,正、反面出现的概率应该是逼近1/2的。也就是说,这个过程,即使是独立同分布的试验它也是有概率的。
5、提出这个问题之后,我请教了很多同学和老师,大部分同学一开始都是乍一听这个问题,马上对我的观点提出批判,给我列条件概率的公式,举出种种理由,不过都被我推翻了
很巧的是,没几天,我在图书馆过期期刊阅览室找到一篇关于独立同分布的newman定理
推广到markov链过程的文章,见97年《应用统计研究》,我看不大懂,复印了下来,去请教
我们系数理统计方面比较权威的老师,他的答复我基本满意。他将数理统计可以分为两大类:频率统计学派和贝叶斯统计学派。目前,国内的数理统计主要是频率统计。又给我分析了什么是 先验概率,先验概率和条件概率有什么区别,他认为:在“抛硬币”试验当中,硬币的均匀分布和抛的公正是先验条件或先验概率,但是抛100次正面却是条件概率,接着他又解释了概率的记忆功能,他讲当贝努利试验次数不够大的时候,它不具有记忆功能,次数足够大的时候,也就是服从二项分布时,具有记忆功能。这时,连续抛很多次正面就可以算作是先验概率。
但这样,我又不懂了。我认为,即使只刚抛过1次,如果考虑这个过程的话,对第二次的结果也应该是有影响的,你们认为呢?这个问题,这位老师也没能解释好。
研究这个问题的启示或者意义:
1、推翻了一些东西,可能很大,也可能是我牛角尖钻的太深了
2、一个试验,我在一间屋子里做“抛硬币”的试验,我“一不小心”连续抛出了100次正面,这里请你不要怀疑硬币质地的均匀和我抛法的不公正,这时,你推门进了实验室,我和你打赌,下次抛硬币会出现反面,给你很高的赌注。因为我知道我已经抛了100次正面,在这个过程中正反面出现的概率是要往1:1均衡的。但是我不会告诉你,我已经连续抛了100次正面。你当然认为正反面出现的概率是1:1,而且你的理论依据也是正确的。但是,你的正确的理论可能会使你输钱的。
3、研究这个问题,我是想提出两个问题:其一,正确的理论可能得不出正确的结果,其二,信息的不对称问题。

验前概率就是通常说的概率,验后概率是一种条件概率,但条件概率不一定是验后概率。贝叶斯公式是由验前概率求验后概率的公式。
举一个简单的例子:一口袋里有3只红球、2只白球,采用不放回方式摸取,求:
⑴ 第一次摸到红球(记作A)的概率;
⑵ 第二次摸到红球(记作B)的概率;
⑶ 已知第二次摸到了红球,求第一次摸到的是红球的概率。
解:⑴ P(A)=3/5,这就是验前概率;
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2,这就是验后概率。

时间: 2024-10-10 00:30:22

先验概率与后验概率的区别(老迷惑了)的相关文章

先验概率、后验概率、似然函数与机器学习中概率模型(如逻辑回归)的关系理解

看了好多书籍和博客,讲先验后验.贝叶斯公式.两大学派.概率模型.或是逻辑回归,讲的一个比一个清楚 ,但是联系起来却理解不能 基本概念如下 先验概率:一个事件发生的概率 \[P(y)\] 后验概率:一个事件在另一个事件发生条件下的条件概率 \[P(y|x)\] 贝叶斯公式:联合概率公式直接能推导出来的,代表什么意义?不放在具体问题中代表不了任何意义 \[P(y|x) = \frac{{P(x|y)P(y)}}{{P(x)}}\] 拿一个实际的例子,如果用阴天预测是否下雨 先验概率:下雨的概率 \[

先验概率、后验概率、似然估计,似然函数、贝叶斯公式

联合概率的乘法公式: (如果随机变量是独立的,则)  由乘法公式可得条件概率公式:, , 全概率公式:,其中 (,则,则可轻易推导出上式) 贝叶斯公式: 又名后验概率公式.逆概率公式:后验概率=似然函数×先验概率/证据因子.解释如下,假设我们根据“手臂是否很长”这个随机变量(取值为“手臂很长”或“手臂不长”)的观测样本数据来分析远处一个生物是猩猩类别还是人类类别(假设总共只有这2种类别).我们身处一个人迹罕至的深山老林里,且之前就有很多报道说这里有猩猩出没,所以无需观测样本数据就知道是猩猩的先验

先验概率、后验概率以及共轭先验

在贝叶斯学派的观点中,先验概率.后验概率以及共轭分布的概念非常重要.而在机器学习中,我们阅读很多资料时也要频繁地跟他们打交道.所以理清这些概念很有必要. 欢迎关注白马负金羁的博客 http://blog.csdn.net/baimafujinji,为保证公式.图表得以正确显示,强烈建议你从该地址上查看原版博文.本博客主要关注方向包括:数字图像处理.算法设计与分析.数据结构.机器学习.数据挖掘.统计分析方法.自然语言处理. 贝叶斯定理:一个例子 其实我们在之前介绍朴素贝叶斯分类器时就介绍过它,如果

[转] 先验概率与后验概率&&贝叶斯与似然函数

from: https://blog.csdn.net/shenxiaoming77/article/details/77505549 先验概率和后验概率 教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故. 堵车的概率就是先验概率 . 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故,那么我们想算一下堵车的概率,这个就叫做条件概率 .也就是P(堵车|交通事故).这是有因求果. 如果我们已经出了门,

先验概率与后验概率

先验:从原因到结果:后验:从结果到原因. 先验概率:根据以往经验和分析得到的概率.. 后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小. 举例理解(1): 先验--根据若干年的统计(经验)或者气候(常识),某地方下雨的概率: 似然--下雨(果)的时候有乌云(因/证据/观察的数据)的概率,即已经有了果,对证据发生的可能性描述: 后验--根据天上有乌云(原因或者证据/观察数据),下雨(结果)的概率: 后验 ~ 先验*似然 : 存在下雨的可能(先验),下雨之前会有乌云(似然

先验概率、后验概率、条件概率

今天看了 Larry Wasserman写的 All of Statistics中的第一章,第一章主要讲概率,其中最主要的就是贝叶斯公式.要了解贝叶斯公式,就得知道全概率公式: 通俗的讲,先验概率就是事情尚未发生前,我们对该事发生概率的估计,例如全概率公式中P(B)就是先验概率,求解方法有很多种,全概率公式是一种,也可以根据经验等,例如抛一枚硬币头向上的概率为0.5. 后验概率则是表示在事情已经发生的条件下,要求该事发生原因是有某个因素引起的可能性的大小. 先验概率是在缺乏某个事实的情况下描述一

【转载】先验概率与后验概率,生成模型与判别模型

[注]事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率 Generative Model 与 Discriminative Model [摘要]    - 生成模型(Generative Model) :无穷样本==>概率密度模型 = 产生模型==>预测- 判别模型(Discriminative Model):有限样本==>判别函数 = 预测模型==>预测 [简介] 简单的说,假设o是观察值,

先验概率和后验概率

个人觉得,对于抽象的问题,先举一个形象的例子,再与抽象的概念相结合,会更方便理解和记忆. 形象例子 [1] : 先验概率:投掷一个骰子,点数为1的概率是1/6,这就是先验概率. 后验概率:吃一道菜,你发现它是酸的,那么你猜这道菜加了醋的可能性为80%,这就是后验概率. 抽象概念 [2] : 先验概率:根据以往经验和分析得到的概率. 后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小. Reference: [1] https://www.cnblogs.com/yema

机器学习(二十五)— 极大似然估计、贝叶斯估计、最大后验概率估计区别

最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum aposteriori estimation, 简称MAP)是很常用的两种参数估计方法. 1.最大似然估计(MLE) 在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计. 也就是说,最大似然估计,就是利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值(模型已知,参数未知). (1)基本思想 当从模型总体