朴素贝叶斯分类算法:对贝叶斯公式的理解

为了完成自己的毕业论文,不得不接触这个朴素贝叶斯分类算法。。。真是惭愧啊(快毕业了才学这个。。。还初识)

哈哈,不过只要肯学什么时候都不会晚

要想完全理解这个算法,必须先去百度一下

原来朴素贝叶斯分类算法是借用到了贝叶斯定理,那什么是贝叶斯定理呢...不多BB,

先看一看什么是条件概率:P(A|B)=P(AB)/P(B)

其中P(A|B)指的是在B已经发生的情况下A发生的概率。而这个概率是由A和B同时发生的概率除以B发生的概率。点解???这是我第一次看到这个公式后的反应

当我看完这张图后,就差不多能理解了:A同B的交集就相当于是A和B同时发生的概率,即P(AB)

http://blog.csdn.net/csfreebird/article/details/25009545 看看这个哥们写的吧,我就不复制粘贴了

再来看看贝叶斯公式:P(A│B)=(P(B|A)P(A))/(P(B))

当然这个是可以从条件概率的公式推导而来,只要将原来的条件概率公式P(A|B)=P(AB)/P(B)中的P(AB)替换成P(B|A)P(A)就是我们”可爱“的贝叶斯公式了

咋一看这个公式,貌似没那么容易去理解:B发生情况下A发生的概率等于A发生下B发生的概率乘以A发生概率再除以B发生的概率,什么鬼。。。

当然,我又去百度了

https://www.zhihu.com/question/19725590/answer/32177811#  这个讲的挺好的

我自己对贝叶斯公式的理解:

A事件无条件发生的概率为P(A),在当B事件发生后,它会改变A事件发生的概率(即P(A)变成了P(A|B))。

那么为什么B的发生会影响到A事件发生的概率呢?A和B之间有一种怎么样的联系呢?

额...貌似A与B之间的联系其实是因为各自本质上的原因,就好像男人喜欢打球而女人喜欢逛街一样。

但是这个联系是有度量的,是能够用数字表达出来的,这个度量就是B发生后能够影响A发生的一个强度,嗯...再细说就是B发生后对A的发生所产生的影响的大小(影响力)。而这个度量就是P(B|A)(似然比率)

---------------------------------------------------举个栗子(直接复制粘贴...):----------------------------------------------------------

一机器在良好状态生产合格产品几率是90%,在故障状态生产合格产品几率是30%,机器良好的概率是75%,若一日第一件产品是合格品,那么此日机器良好的概率是多少。

这个例子中,P(A)就是机器良好的概率,P(B)就是第一件产品是合格品的概率。

那么上面我所说的B对A发生的影响的一个度量就能够解释成 ’第一件产品为合格品‘ 事件对 ’机器良好‘ 这个事件发生的概率的影响力就等于P(B|A)=90%。单从直观的数字上来看影响还是比较大的。

那么经过B影响后A发生的概率是多少呢:P(A|B)=?

先等等,我们再来看看B的发生概率是多少P(产品合格)=P(机器良好)*P(机器良好时产品合格率)+P(机器故障)*P(机器故障时产品合格率)=0.75*0.9+0.25*0.3=0.75

P(A)原来是等于75%,如果直接套公式的话:经过事件B的影响得到了 ’新的概率‘ P(A|B)=B对A发生的影响力*A无条件概率/B无条件概率=0.9

感觉自己好像摸到点门路了

显然,如果B对A发生的影响力越小的话,那么经过B影响后A发生的概率也会变小。所以这样理解应该是没有问题的

我们继续,继续个毛线...这个思路卡壳了,那我们换一个思路:

如果把贝叶斯公式这样看,经过B影响后的A的概率:P(A|B)=(P(B|A)/P(B))*P(A)

因为P(B|A)归根结底还是事件B发生的概率,只不过加上了一个条件罢了,

而在某一条件下B的发生概率除以B无条件的发生概率(P(B|A)/P(B)),可以理解为P(B|A)在P(B)中所占的比例。那么这一部分(P(B|A)/P(B))就可以理解为是对P(A)的一个指导、修正,所以是乘以P(A)

结合例子,B是可以在两种不同的状态下发生的,第一种状态是A(即机器良好),第二种状态是~A(即机器故障),所以我们用P(B|A)/P(B)去指导、修正P(A)从而得到了P(A|B)

如果我们想得到P(~A|B),就要用P(B|~A)/P(B)去指导、修正P(~A)

如果按照这样的思路,其中P(B|~A)=0.3,P(B)=0.75,P(~A)=0.25,

那么P(~A|B)=P(B|~A)/P(B)*P(~A)=0.3/0.75*0.25=0.1(这个好像直接套用了公式一样....)

嗯...这样理解,对我来说是行的通的。

时间: 2024-10-06 23:18:04

朴素贝叶斯分类算法:对贝叶斯公式的理解的相关文章

朴素贝叶斯分类算法(1)

转自http://blog.csdn.net/lch614730/article/details/17031145 朴素贝叶斯分类算法(Naive Bayesian classification) PS:本文在讲解的时候会用通俗的例子来讲解 本文我们将学习到: (1)什么是朴素贝叶斯? (2)先验概率和条件概率是如何证明的? (3)文本分类的多项式模型和伯努利模型(附加例子说明) (4)垃圾邮件的分类及代码的演示(暂缺以后会补上) (1)什么是朴素贝叶斯(Naive Bayes,以后简称NB)?

算法 - 朴素贝叶斯分类算法

带你搞懂朴素贝叶斯分类算法 带你搞懂朴素贝叶斯分类算 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.这篇文章我尽可能用直白的话语总结一下我们学习会上讲到的朴素贝叶斯分类算法,希望有利于他人理解. 1  分类问题综述 对于分类问题,其实谁都不会陌生,日常生活中我们每天都进行着分类过程.例如,当你看到一个人,你的脑子下意识判断他是学生还是社会上的人:你可能经常会走在路上对身旁的朋友说“这个人一看就很

朴素贝叶斯分类算法原理分析与代码实现

前言 本文介绍机器学习分类算法中的朴素贝叶斯分类算法并给出伪代码,Python代码实现. 词向量 朴素贝叶斯分类算法常常用于文档的分类,而且实践证明效果是挺不错的. 在说明原理之前,先介绍一个叫词向量的概念. --- 它一般是一个布尔类型的集合,该集合中每个元素都表示其对应的单词是否在文档中出现. 对应关系和词汇表一一对应. 比如说,词汇表只有三个单词:'apple', 'orange', 'melo',某文档中,apple和melo出现过,那么其对应的词向量就是 {1, 0, 1}. 这种模型

数据挖掘系列(8)朴素贝叶斯分类算法原理与实践

隔了很久没有写数据挖掘系列的文章了,今天介绍一下朴素贝叶斯分类算法,讲一下基本原理,再以文本分类实践. 一个简单的例子 朴素贝叶斯算法是一个典型的统计学习方法,主要理论基础就是一个贝叶斯公式,贝叶斯公式的基本定义如下: 这个公式虽然看上去简单,但它却能总结历史,预知未来.公式的右边是总结历史,公式的左边是预知未来,如果把Y看出类别,X看出特征,P(Yk|X)就是在已知特征X的情况下求Yk类别的概率,而对P(Yk|X)的计算又全部转化到类别Yk的特征分布上来. 举个例子,大学的时候,某男生经常去图

基于朴素贝叶斯分类算法的邮件过滤系统

转自穆晨 阅读目录 前言 准备数据:切分文本 训练并测试 小结 回到顶部 前言 朴素贝叶斯算法最为广泛而经典的应用毫无疑问是文档分类,更具体的情形是邮件过滤系统. 本文详细地讲解一个基于朴素贝叶斯分类算法的邮件过滤系统的具体实现. 本文侧重于工程实现,至于其中很多算法的细节请参考之前的一篇文章:朴素贝叶斯分类算法原理分析与代码实现. 回到顶部 准备数据:切分文本 获取到文本文件之后,首先要做的是两件事情: 1. 将文本文件转换为词汇列表 2. 将上一步的结果进一步转换为词向量 对于 1,具体来说

第五篇:朴素贝叶斯分类算法原理分析与代码实现

前言 本文介绍机器学习分类算法中的朴素贝叶斯分类算法并给出伪代码,Python代码实现. 词向量 朴素贝叶斯分类算法常常用于文档的分类,而且实践证明效果挺不错的. 在说明原理之前,先介绍一个叫词向量的概念. --- 它一般是一个布尔类型的集合,该集合中每个元素都表示其对应的单词是否在文档中出现. 比如说,词汇表只有三个单词:'apple', 'orange', 'melo',某文档中,apple和melo出现过,那么其对应的词向量就是 {1, 0, 1}. 这种模型通常称为词集模型,如果词向量元

第六篇:基于朴素贝叶斯分类算法的邮件过滤系统

前言 朴素贝叶斯算法最为广泛而经典的应用毫无疑问是文档分类,更具体的情形是邮件过滤系统. 本文详细地讲解一个基于朴素贝叶斯分类算法的邮件过滤系统的具体实现. 本文侧重于工程实现,至于其中很多算法的细节请参考之前的一篇文章:朴素贝叶斯分类算法原理分析与代码实现. 准备数据:切分文本 获取到文本文件之后,首先要做的是两件事情: 1. 将文本文件转换为词汇列表 2. 将上一步的结果进一步转换为词向量 对于 1,具体来说,就是将文本文件以非字母或数字之外的字符为界进行切割. 仅仅使用字符串的 split

《机器学习实战》基于朴素贝叶斯分类算法构建文本分类器的Python实现

============================================================================================ <机器学习实战>系列博客是博主阅读<机器学习实战>这本书的笔记,包括对当中算法的理解和算法的Python代码实现 另外博主这里有机器学习实战这本书的全部算法源码和算法所用到的源文件,有须要的留言 ====================================================

分类与监督学习,朴素贝叶斯分类算法

1.理解分类与监督学习.聚类与无监督学习. 简述分类与聚类的联系与区别? 分类与聚类:是把某个对象划分到某个具体的已经定义的类别当中,而聚类是把一些对象按照具体特征组织到若干个类别里. 虽然都是把某个对象划分到某个类别中,但是分类的类别是已经预定义的,而聚类操作时,某个对象所属的类别 却不是预定义的,而是可以根据情况做若干个聚类中心. 简述什么是监督学习与无监督学习. 监督学习与无监督学习:对于新的实例,监督学习可以用于映射出该实例的类别. 对于无监督学习,我们只知道特征,并不知 道答案,不同的