贝叶斯方法及其应用(1)

  贝叶斯定理(英语:Bayes’ theorem)是概率论中的一个定理,它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中,贝叶斯定理(贝叶斯更新)能够告知我们如何利用新证据修改已有的看法。这个名称来自于托马斯?贝叶斯。

  通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。贝叶斯公式的用途在于通过己知三个概率函数推出第四个。它的内容是:在B出现的前提下,A出现的概率等于A出现的前提下B出现的概率乘以A出现的概率再除以B出现的概率。通过联系A与B,计算从一个事件产生另一事件的概率,即从结果上溯原。

https://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86

  所谓的贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前,人们已经能够计算“正向概率”,如“假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大”。而一个自然而然的问题是反过来:“如果我们事先并不知道袋子里面黑白球的比例,而是闭着眼睛摸出一个(或好几个)球,观察这些取出来的球的颜色之后,那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题,就是所谓的逆概问题。

  贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。

  P(A│B)=P(A∩B)/P(B) =P(A)(P(B|A))/P(B)

  其中P(A|B)是在B发生的情况下A发生的可能性。

  在贝叶斯定理中,每个名词都有约定俗成的名称:

  P(A)是A的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何B方面的因素。

  P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。

  P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。

  P(B)是B先验概率或边缘概率,也作标准化常量(normalizing constant)。

  按这些术语,贝叶斯定理可表述为:

  后验概率 = (相似度*先验概率)/标准化常量

  也就是说,后验概率与先验概率和相似度的乘积成正比。

  另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardised likelihood),贝叶斯定理可表述为:

  后验概率 = 标准相似度*先验概率

  这就是贝叶斯推断的含义。我们先预估一个”先验概率”,然后加入实验结果,看这个实验到底是增强还是削弱了”先验概率”,由此得到更接近事实的”后验概率”。

  简单地说,就是用已知事实对先验概率进行修正。

  在这里,如果”可能性函数”P(B|A)/P(B)>1,意味着”先验概率”被增强,事件A的发生的可能性变大;如果”可能性函数”=1,意味着B事件无助于判断事件A的可能性;如果”可能性函数”<1,意味着”先验概率”被削弱,事件A的可能性变小。

从条件概率推导贝叶斯定理

根据条件概率的定义。在事件B发生的条件下事件A发生的概率是:

  P(A│B)=P(A∩B)/P(B)

同样地,在事件A发生的条件下事件B发生的概率

  P(B│A)=P(A∩B)/P(A)

整理与合并这两个方程式,我们可以找到

  P(A|B) P(B) = P(A∩B) = P(B|A) P(A)

这个引理有时称作概率乘法规则。上式两边同除以P(A),若P(A)是非零的,我们可以得到贝叶斯 定理:

  P(B|A) = P(A|B) P(B)/P(A)

还可以写成:

  P(B|A) = P(A|B) P(B) / [P(A|B) P(B) + P(A|~B) P(~B) ]

来看一个例子:

  现分别有 A,B 两个容器,在容器 A 里分别有 7 个红球和 3 个白球,在容器 B 里有 1 个红球和 9 个白球,现已知从这两个容器里任意抽出了一个球,且是红球,问这个红球是来自容器 A 的概率是多少?

  假设已经抽出红球为事件 B,从容器 A 里抽出球为事件 A,则有:P(B) = 8 / 20,P(A) = 1 / 2,P(B | A) = 7 / 10,按照公式,则有:P(A|B)=(7 / 10)*(1 / 2)/(8/20)=0.875

  这里,P(A)为先验概率=0.5,后验概率P(A|B)= 0.875,也就是说,取出红球之后,事件A的可能性得到了增强。

  贝叶斯公式为利用搜集到的信息对原有判断进行修正提供了有效手段。在采样之前,经济主体对各种假设有一个判断(先验概率),关于先验概率的分布,通常可根据经济主体的经验判断确定(当无任何信息时,一般假设各先验概率相同),较复杂精确的可利用包括最大熵技术或边际分布密度以及相互信息原理等方法来确定先验概率分布。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-10-13 07:15:08

贝叶斯方法及其应用(1)的相关文章

从贝叶斯方法谈到贝叶斯网络

0 引言 事实上,介绍贝叶斯定理.贝叶斯方法.贝叶斯推断的资料.书籍不少,比如<数理统计学简史>,以及<统计决策论及贝叶斯分析 James O.Berger著>等等,然介绍贝叶斯网络的中文资料则非常少,中文书籍总共也没几本,有的多是英文资料,但初学者一上来就扔给他一堆英文论文,因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的(当然,有了一定的基础后,便可阅读更多的英文资料). 11月9日上午,机器学习班第9次课,邹博讲贝叶斯网络,其帮助大家提炼了贝叶斯网络的几个关

贝叶斯方法入门以及蒙特霍尔问题

今天稍微学了一下概率论,这里简单总结一下贝叶斯公式 因为是初学,所以整理的东西可能有错误orz 一.贝叶斯公式 其实就是由全概率公式推出来的 贝叶斯公式实际上是求出一个事件C的后验概率 首先给出样本空间A的若干个划分Bi,最后发生了结果C 那么可以得到下图 那么先验概率实际上就是p(B),后验概率是p(B|C) 下面给出公式 简单理解就是,如果结果C发生的话,条件是Bi的概率是多大. 而贝叶斯方法就是找到到底是哪个因素的概率最大 二.应用 实际上应用有很多,比如说贝叶斯网络和贝叶斯分类器都是基于

机器学习中的贝叶斯方法---先验概率、似然函数、后验概率的理解及如何使用贝叶斯进行模型预测(2)

在 机器学习中的贝叶斯方法---先验概率.似然函数.后验概率的理解及如何使用贝叶斯进行模型预测(1)文章中介绍了先验分布和似然函数,接下来,将重点介绍后验概率,以及先验概率.似然函数.后验概率三者之间的关系---贝叶斯公式. 在这篇文章中,我们通过最大化似然函数求得的参数 r 与硬币的抛掷次数(抛掷次数是10,求得的r=0.9)有关,为了更好地描述 参数 r 与 抛掷次数之间的关系,对下面符号作一些说明: 参数 r :抛一次硬币出现正面的概率,显然 r 的取值范围为[0,1] yN,在N次抛硬币

转载-- 从贝叶斯方法谈到贝叶斯网络

从贝叶斯方法谈到贝叶斯网络 0 引言 事实上,介绍贝叶斯定理.贝叶斯方法.贝叶斯推断的资料.书籍不少,比如<数理统计学简史>,以及<统计决策论及贝叶斯分析 James O.Berger著>等等,然介绍贝叶斯网络的中文资料则非常少,中文书籍总共也没几本,有的多是英文资料,但初学者一上来就扔给他一堆英文论文,因无基础和语言的障碍而读得异常吃力导致无法继续读下去则是非常可惜的(当然,有了一定的基础后,便可阅读更多的英文资料). 11月9日上午,机器学习班 第9次课,邹讲贝叶斯网络,其帮助

【源代码】基于扩展贝叶斯方法融合的作战效能评估研究

%来源<基于扩展贝叶斯方法融合的作战效能评估研究> clear clc %定性指标T2 T7 T8 %以下Kcap和Ccap数据对应表6,将表6拆分为两个矩阵 %横坐标Kcap:知识度 %纵坐标Ccap:满意度 %Kcap和Ccap相同的位置组合起来对应信念图上的一个点 %Kcap和Ccap:行对应专家(3个专家),列对应指标(3个指标) Kcap=[0.8 0.78 0.85; 0.7 0.8 0.7; 0.65 0.7 0.6]; Ccap=[0.85 0.82 0.8; 0.75 0.7

【转】数学之美番外篇:平凡而又神奇的贝叶斯方法----刘未鹏

概率论只不过是把常识用数学公式表达了出来. --拉普拉斯 记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时:有一次,在书店看到一本书,名叫贝叶斯方法.当时数学系的课程还没有学到概率统计.我心想,一个方法能够专门写出一本书来,肯定很牛逼.后来,我发现当初的那个朴素归纳推理成立了--这果然是个牛逼的方法. --题记 目录 0. 前言1. 历史    1.1 一个例子:自然语言的二义性    1.2 贝叶斯公式2. 拼写纠正3. 模型比较与贝叶斯奥卡姆剃刀    3.1 再访拼

朴素贝叶斯方法在乳腺肿块检测中的应用

写在开头: 临近毕业准备找工作,而机器学习方法是复习中不可缺少的一个重要部分,所以本篇博文是将之前做过的一个项目里面应用的机器学习方法——朴素贝叶斯方法,重点复习一遍.具体文章如下引用所示. Zhang S, Chen Z, Gu S, et al. Breast tumor detection in double views mammography based on Simple Bias[C]. Medical Imaging Physics and Engineering (ICMIPE)

分享《贝叶斯方法 概率编程与贝叶斯推断》中文版PDF+英文版PDF+源代码

下载:https://pan.baidu.com/s/1dyaW_x6WhfBxhy1fcxrdNw 更多资料分享:http://blog.51cto.com/3215120 <贝叶斯方法 概率编程与贝叶斯推断>中文版PDF+英文版PDF+源代码 中文版PDF,带目录和书签:英文版PDF,带目录和书签:中英文两版可以对比学习.配套源代码:经典书籍,讲解详细:其中,中文版如图: 原文地址:http://blog.51cto.com/3215120/2313695

贝叶斯方法及其应用(2)

本文是网上一些文章的整理总结,原文请戳文末. 贝叶斯概率和统计概率相对,它从确定的分布中观测到的频率或者在样本空间中的比例来导出概率.采用统计概率的统计和概率的理论由R.A. Fisher, Egon Pearson和Jerzy Neyman在20世纪上半叶发展起来.A. N. Kolmogorov也采用频率概率来通过勒贝格积分为测度论中的概率奠定数学基础(<概率论基础>(1933年)).Savage, Koopman, Abraham Wald和其他一些学者自1950年以来发展了贝叶斯概率.