贝叶斯定理

众所周知,贝叶斯定理是一种在已知其他概率的情况下求概率的方法:

首先,对于贝叶斯定理,还是要先了解各个概率所对应的事件。

  P(A|B) 是在 B 发生的情况下 A 发生的概率;

  P(A) 是 A 发生的概率;

  P(B|A) 是在 A 发生的情况下 B 发生的概率;

  P(B) 是 B 发生的概率。

贝叶斯法则的原理    

根据文氏图,可以很清楚地看到在事件B发生的情况下,事件A发生的概率就是P(A∩B)除以P(B)。

因此,

同理可得,

所以,

即,

这就是条件概率的计算公式。

全概率公式    

由于后面要用到,所以除了条件概率以外,这里还要推导全概率公式。

假定样本空间S,是两个事件A与A‘的和。

上图中,红色部分是事件A,绿色部分是事件A‘,它们共同构成了样本空间S。

在这种情况下,事件B可以划分成两个部分。

在上一节的推导当中,我们已知

所以,

这就是全概率公式。它的含义是,如果A和A‘构成样本空间的一个划分,那么事件B的概率,就等于A和A‘的概率分别乘以B对这两个事件的条件概率之和。

将这个公式代入上一节的条件概率公式,就得到了条件概率的另一种写法:

病人分类的例子    

 

让我从一个例子开始讲起,你会看到贝叶斯分类器很好懂,一点都不难。某个医院早上收了六个门诊病人,如下表。

症状 职业 疾病
打喷嚏 护士 感冒
打喷嚏 农夫 过敏
头疼 建筑工人 脑震荡
头疼 建筑工人 感冒
打喷嚏 教师 感冒
头疼 教师 脑震荡

现在又来了第七个病人,是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大? 根据贝叶斯定理:

P(A|B) = P(B|A) P(A) / P(B)可得:P(感冒|打喷嚏x建筑工人)     = P(打喷嚏x建筑工人|感冒) x P(感冒)     / P(打喷嚏x建筑工人)

假定"打喷嚏"和"建筑工人"这两个特征是独立的,因此,上面的等式就变成了

P(感冒|打喷嚏x建筑工人)     = P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒)    / P(打喷嚏) x P(建筑工人)

这是可以计算的。

P(感冒|打喷嚏x建筑工人)     = 0.66 x 0.33 x 0.5 / 0.5 x 0.33     = 0.66

因此,这个打喷嚏的建筑工人,有66%的概率是得了感冒。同理,可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率,就可以知道他最可能得什么病。
这就是贝叶斯分类器的基本方法:在统计资料的基础上,依据某些特征,计算各个类别的概率,从而实现分类。

贝叶斯滤波器    

首先,BF是什么?

BF是依据机器人传感器获取的观测数据,利用Bayes公式(概率论)去估计机器人的状态的一种手段。

这里的关键点在于,BF假设了机器人当前的状态服从某一个概率分布,将机器人状态估计问题建模为一个概率分布的估计问题,从而利用概率论的数学工具来解决机器人的状态估计。

那么为什么要用BF呢?

这是因为,机器人的运动模型以及传感器的观测模型常常受到噪声干扰,而这种噪声都是随机性的。这样建模就可以有利于我们把噪声的分布、统计特性给估计出来,从而去除噪声,得到真实观测以及真实状态。

那么,BF具体是怎么对机器人状态估计问题建模的呢?

举一个例子,我做了一只小狗机器人,它身上装了GPS,可以时刻返回小狗机器人的位置。为了遥控它,我还给它装了一个遥控接收装置(根据小狗之前在的位置加上遥控量,也能算出小狗的位置)。但是,我遇到两个问题。一是,我花的钱太少了,买到GPS不太准,本来小狗应该在(5,3)的位置,但是测量的结果却是(5.1,2.8)。二是,小狗机器人接收到指令是前进1米,但是实际走的却可能是0.98米。小狗机器人的观测过程和运动过程中都存在噪声的干扰,这使得我想要知道我的小狗跑到哪里变得很困难,需要借助滤波手段来估计小狗位置。

基于这个例子,由于受到噪声污染,小狗机器人位置和GPS的观测可以被建模为概率分布,以表征其不确定性,即:

其中,x,yx,y分别代表小狗机器人的位置,以及GPS测量到的小狗机器人的位置。

下标代表的是时间。

这两个式子分别可以称为小狗机器人系统的动态模型(通常用状态方程描述,即从一个状态如何变化到另一个状态)和观测模型(通常用观测方程描述,即当前状态下能够获取到怎么样的观测)

表达的意思是:k时刻小狗的位置服从以1到k-1时刻的小狗位置以及1到k-1时刻的GPS测量值为条件的一个概率分布

另外,k时刻GPS的测量值服从以1到k时刻的小狗位置以及1到k-1时刻的GPS测量值为条件的一个概率分布。

参考资料:    

机器学习(10)之趣味案例理解朴素贝叶斯

https://mp.weixin.qq.com/s/s0v_afLVqtJhZyn3qHlseQ

可怕的贝叶斯:

http://dy.163.com/v2/article/detail/CU0MJOCV05118CTM.html

算法——贝叶斯:

https://www.cnblogs.com/skyme/p/3564391.html

贝叶斯滤波器:

http://blog.csdn.net/qq_30159351/article/details/53395515

原文地址:https://www.cnblogs.com/TIANHUAHUA/p/8528904.html

时间: 2024-11-09 06:05:27

贝叶斯定理的相关文章

机器学习--第一章贝叶斯定理及其应用

贝叶斯统计都是以条件概率,联合概率为基础的,所以我们从概率,条件概率,联合概率开始,然后到贝叶斯定理,最后讲一个贝叶斯的应用--垃圾邮件的过滤 概率:事件发生的可能性,比如抛一枚硬币,正面向上的可能性有50%,掷色子点数为6的可能性为1/6.我们用符号表示为P(A) 条件概率:满足某些条件下事件发生的可能性,比如求一个人在买了裤子的前提下再买衣服的概率,我们用符号表示为P(B|A),即事件A发生下B发生的概率 联合概率:多个事件同时发生的可能性,比如抛硬币两次都朝上的概率P(AB) = P(A)

贝叶斯定理学习

 通常事件A在事件B的条件下的概率,与事件B在事件A的条件下的概率是不一样的,但是这两者是有确定的关系,这就是贝叶斯定理. P(A|B)=P(B|A)*P(A)/P(B) 先看一个例子: 现分别有 A,B 两个容器,在容器 A 里分别有 6 个红球和 4 个白球,在容器 B 里有 2 个红球和 8 个白球,现已知从这两个容器里任意抽出了一个球,且是红球,问这个红球是来自容器 A 的概率是多少? 先不考虑贝叶斯定理,直接分析这道题,总共有8个红球,其中6个在容器A,所以任意抽出一个球是红球来自

贝叶斯定理(贝叶斯分类)

贝叶斯分类法:一种统计学分类方法.能给定一个元组属于一个特定类的概率.该方法基于贝叶斯定理 比较研究发现,一种称为朴素贝叶斯分类法的简单贝叶斯分类算法可以与决策树和神经网络分类算法媲美.大型数据库中贝叶斯分类法也表现出高准确率和高速度. 朴素贝叶斯分类法假定一个属性值对给定类的影响独立于其他属性值.这一假定称作类条件独立性.做此假定为了简化所需要的计算,并在此意义下称为'朴素的'. 贝叶斯信念网络是图形模型,他能表示属性子集间的依赖,也可用于分类. 1.贝叶斯定理 设X是数据元组,贝叶斯术语中,

Monty Hall 问题与贝叶斯定理的理解

 三门问题(Monty Hall problem),是一个源自博弈论的数学游戏问题,大致出自美国的电视游戏节目Let's Make a Deal.问题的名字来自该节目的主持人蒙提·霍尔(Monty Hall). 游戏规则 游戏参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门就可以赢得该汽车,而另外两扇门后面则各藏有一只山羊.当参赛者选定了一扇门,但未去开启它的时候,节目主持人会开启剩下两扇门的其中一扇,露出其中一只山羊.主持人其后会问参赛者要不要换另一扇仍然关上的门.问

数据挖掘-贝叶斯定理

贝叶斯定理是统计学的一种分类的方法 最简单的贝叶斯分类方法称为朴素贝叶斯分类的方法 朴素贝叶斯法的一个重要条件是即一个属性值对分类的影响独立于其他属性值  也称为类条件独立性 p(H|X)=p(X|H)P(H)/P(X)    其中已经知道后者求前者,.即是后验=似然X先验/证据因子 朴素贝叶斯方法易于实现 ,而且在大多数的情况下能够获得较好的分类准确率.它的劣势在于它的条件独立性假设,如果数据之间各个属性之间有比较强的依赖关系,则不会取得好的结果. 如何处理属性之间的依赖关系呢?引入了贝叶斯信

Nani_xiao的机器学习与总结:Andrew Ng.机器学习(一) :贝叶斯定理

已知某条件概率,如何得到两个事件交换后的概率,也就是在已知P(A|B)的情况下如何求得P(B|A). P(A|B)表示事件B已发生的前提下,事件A发生的概率,叫做事件B发生下事件A的条件概率.其基本求解公式: , 而贝叶斯定理为: 朴素贝叶斯基本思想:对于给出的待分类项,求解在此项条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别. 分类算法之贝叶斯网络(Bayesiannetworks) 1.贝叶斯网络的解释和举例 朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独

从贝叶斯定理说开去

从贝叶斯定理说开去 罗朝辉 (http://kesalin.github.io/) CC 许可,转载请署名并保留出处 简介 贝叶斯定理是18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)提出得重要概率论理论.以下摘一段 wikipedia 上的简介: 所谓的贝叶斯定理源于他生前为解决一个"逆概"问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的.在贝叶斯写这篇文章之前,人们已经能够计算"正向概率",如"假设袋子里面有 N 个白球,M

极大似然估计与贝叶斯定理

文章转载自:https://blog.csdn.net/zengxiantao1994/article/details/72787849 极大似然估计-形象解释看这篇文章:https://www.zhihu.com/question/24124998 贝叶斯定理-形象解释看这篇文章:https://www.zhihu.com/question/19725590/answer/217025594 极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然

Bayes' theorem (贝叶斯定理)

前言 AI时代的到来一下子让人感觉到数学知识有些捉襟见肘,为了不被这个时代淘汰,我们需要不断的学习再学习.其中最常见的就是贝叶斯定理,这个定理最早由托马斯·贝叶斯提出. 贝叶斯方法的诞生源于他生前为解决一个"逆向概率"问题写的一篇文章,而这篇文章是在他死后才由他的一位朋友发表出来的.在贝叶斯写这篇论文之前,人们已经能够计算"正向概率",如"袋子里N个白球,M个黑球,随机抓一个,抓到白球的概率".而随之而来的另一个反过来的问题就是 "如果