【概率论】贝叶斯法则

基础知识描述:

联合概率:

定义:指在多元的概率分布中多个随机变量同时满足各自条件的概率。

举例:假设X和Y都服从正态分布,那么P{X<4,Y<0}就是一个联合概率,表示X<4,Y<0两个条件同时成立的概率。X与Y的联合概率表示为 P(XY) 或者P(X,Y),或者P(X∩Y)

条件概率:

定义:事件A在另外一个事件B已经发生条件下的发生概率。

举例:在B条件下A条件概率表示为P(A|B)

贝叶斯法则:

通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。作为一个规范的原理,贝叶斯法则对于所有概率的解释是有效的;然而,频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法:频率主义者根据随机事件发生的频率,或者总体样本里面的个数来赋值概率;贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是,贝叶斯主义者有更多的机会使用贝叶斯法则。

故:如果只有A、B两个事件,那么可得出如下:

P(A|B)= P(AB) / P(B),P(B|A) = P(AB)/ P(A) ==> P(A|B) = P(B|A) * P(A) / P(B)

故:贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。

P(A|B) = P(B|A) * P(A) / P(B) ≈ L(A|B) * P(A)

其中L(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯法则中,每个名词都有约定俗成的名称:

1.P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。    2.P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。

3.P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。

4.P(B)是B的先验概率或边缘概率,也作标准化常量(normalized constant)。

贝叶斯法则公式:

后验概率 = (似然度 * 先验概率)/标准化常量

即:后验概率与先验概率和似然度的乘积成正比。

故:后验概率 = 标准似然度 * 先验概率

举例:

对于事件A、B,A后验概率表示P(A|B),A先验概率表示P(A),似然度为P(B|A),标准化常量P(B),故标准似然度为P(B|A)/P(B)

时间: 2024-10-01 18:10:02

【概率论】贝叶斯法则的相关文章

贝叶斯法则

1.条件概率        P(A/B)=P(B/A)*P(A)/P(B) 0.3*0.2/0.1 2.全概率公式 3.贝叶斯法则 以下问题将有助于你回顾在"贝叶斯法则"章节中学习到的知识. 例子1:你希望得出一辆汽车看见黄色 的交通信号灯就停下来的概率是多少. 经验数据告诉你,一辆汽车在交通灯交叉路口停车的概率是 P(S) = 0.40 . 同时你了解到,基于经验数据,交通灯是黄色(而不是红色或绿色)的概率是 P(Y) = 0.10. 当汽车停在十字路口时,数据显示,灯光为黄色的时间

贝叶斯法则与虚假阳性的病例

假设在居民区, 一种罕见的疾病传染1‰的人…… 并且假设这种疾病有一种尚好的检验方法:如果有人传染上了这种病,其检验结果有99%的可能呈阳性.另一方面,此检验也会产生一些虚假的阳性.为传染上的患者有2%检验也呈阳性.而你恰恰检验呈阳性,你传染该病的概率有多大? 我们依据两个事件工作: A: 患者得这种病 B: 检验结果呈阳性 其检验结果的准确性为: P(A)=0.001 --1‰的人得这种病 P(B|A)=0.99 --真正得这种病的人检验结果呈阳性的概率为99% P(B|A拔)=0.02 --

机器学习Matlab打击垃圾邮件的分类————朴素贝叶斯模型

该系列来自于我<人工智能>课程回顾总结,以及实验的一部分进行了总结学习机 垃圾分类是有监督的学习分类最经典的案例,本文首先回顾了概率论的基本知识.则以及朴素贝叶斯模型的思想.最后给出了垃圾邮件分类在Matlab中用朴素贝叶斯模型的实现 1.概率 1.1 条件概率 定义:事件B发生的情况下,事件A发生的概率记作条件概率P(A|B) P(A|B)=P(A∧B)P(B) 条件概率也叫后验概率.无条件概率也叫先验概率(在没有不论什么其他信息存在的情况下关于命题的信度) 能够得到乘法规则: P(A∧B)

贝叶斯的学习

贝叶斯法则 贝叶斯法则又被称为贝叶斯定理.贝叶斯规则,是指概率统计中的应用所观察到的现象对有关概率分布的主观判断(即先验概率)进行修正的标准方法.当分析样本大到接近总体数时,样本中事件发生的概率将接近于总体中事件发生的概率. 贝叶斯统计中的两个基本概念是先验分布和后验分布: 1.先验分布.总体分布参数θ的一个概率分布.贝叶斯学派的根本观点,是认为在关于总体分布参数θ的任何统计推断问题中,除了使用样本所提供的信息外,还必须规定一个先验分布,它是在进行统计推断时不可缺少的一个要素.他们认为先验分布不

机器学习Matlab实战之垃圾邮件分类————朴素贝叶斯模型

本系列来自于我<人工智能>课程复习总结以及机器学习部分的实验总结 垃圾邮件分类是监督学习分类中一个最经典的案例,本文先复习了基础的概率论知识.贝叶斯法则以及朴素贝叶斯模型的思想,最后给出了垃圾邮件分类在Matlab中用朴素贝叶斯模型的实现 1.概率 1.1 条件概率 定义:事件B发生的情况下,事件A发生的概率记作条件概率P(A|B) P(A|B)=P(A∧B)P(B) 条件概率也叫后验概率,无条件概率也叫先验概率(在没有任何其它信息存在的情况下关于命题的信度) 可以得到乘法规则: P(A∧B)

深入理解朴素贝叶斯(Naive Bayes)

https://blog.csdn.net/li8zi8fa/article/details/76176597 朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法.朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤.该算法虽然简单,但是由于笔者不常用,总是看过即忘,这是写这篇博文的初衷.当然,更大的动力来在于跟大家交流,有论述不妥的地方欢迎指正. 1.算法思想--基于概率的预测 逻辑回归通过拟合曲线(或者学习超平面)实现分类,决策树通过寻找最佳划分特征进而学习

算法——贝叶斯

简介 学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B):即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率.由条件概率公式推导出贝叶斯公式:P(B|A)=P(A|B)P(B)/P(A):即,已知P(A|B),P(A)和P(B)可以计算出P(B|A). 假设B是由相互独立的事件组成的概率空间{B1,b2,...bn}.则P(A)可以用全概率公式展开:P(A)=P (A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)

Stanford大学机器学习公开课(五):生成学习算法、高斯判别、朴素贝叶斯

(一)生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ),即给定x的情况探讨y的条件概率分布.如二分类问题,不管是感知器算法还是逻辑回归算法,都是在解空间中寻找一条直线从而把两种类别的样例分开,对于新的样例,只要判断在直线的哪一侧即可:这种直接对问题求解的方法可以称为判别学习方法. 而生成学习算法则是对两个类别分别进行建模,用新的样例去匹配两个模板,匹配度较高的作为新样例的类别,比如分辨大象(y=1)和狗(y=0),首先,观察大象,然后建立一个大

朴素贝叶斯算法资料整理和PHP 实现版本

朴素贝叶斯算法简洁 http://blog.csdn.net/xlinsist/article/details/51236454 引言 先前曾经看了一篇文章,一个老外程序员写了一些很牛的Shell脚本,包括晚下班自动给老婆发短信啊,自动冲Coffee啊,自动扫描一个DBA发来的邮件啊, 等等.于是我也想用自己所学来做一点有趣的事情.我的想法如下: 首先我写个scrapy脚本来抓取某个网站上的笑话 之后写个Shell脚本每天早上6点自动抓取最新的笑话 然后用朴素贝叶斯模型来判断当前的笑话是否属于成