贝叶斯推断及其互联网应用(二):过滤垃圾邮件

有关贝叶斯原理的讲解, 请查看这里。这里讲述的是通过贝叶斯推断如何过滤垃圾邮件。

贝叶斯推断及其互联网应用
    
    (接上文)

七、什么是贝叶斯过滤器?
    垃圾邮件是一种令人头痛的顽症,困扰着所有的互联网用户。
    正确识别垃圾邮件的技术难度非常大。传统的垃圾邮件过滤方法,主要有“关键词法”和“校验码法”等。前者的过滤依据是特定的词语;后者则是计算邮件文本的效验码,再与已知的垃圾邮件进行对比。它们的识别效果都不理想,而且很容易规避。
    2002年,Paul Graham提出使用“贝叶斯推断”过滤垃圾邮件。他说,这样做的效果,好得不可思议。1000封垃圾邮件可以过滤掉995封,且没有一个误判。
    另外,这种过滤器还具有自我学习的功能,会根据新收到的邮件,不断调整。收到的垃圾邮件越多,它的准确率越高。

八、建立历史资料库
    贝叶斯过滤器是一种统计学过滤器,建立在已有的统计结果之上。所以,我们必须预先提供两组已经识别好的邮件,一组是正常邮件,另一组是垃圾邮件。
    我们用这两组邮件,对过滤器进行“训练”。这两组邮件的规模越大,训练效果就越好。Paul Graham使用的邮件规模,是正常邮件和垃圾邮件各4000封。
    “训练”过程很简单。首先,解析所有的邮件,提取每一个词。然后,计算每个词语在正常邮件和垃圾邮件中出现的频率。比如,我们假定“sex”这个词,在4000封垃圾邮件中,有200封包含这个词,那么它的出现频率就是5%;而在4000封正常邮件中,只有2封包含这个词,那么出现频率就是0.05%。(【注释】如果某个词   只出现   在垃圾邮件中,Paul Graham就假定,它在正常邮件的出现频率是1%(经验值,可以根据新收的邮件不断调整),反之亦然。这样做是为了避免概率为0。随着邮件数量的增多,计算结果会自动调整。)
    有了这个初步的统计结果,过滤器就可以投入使用了。

九、贝叶斯过滤器的使用过程
    现在,我们收到了一封信邮件。在未统计分析之前, 我们假定它是垃圾邮件的概率为50%。(【注释】有研究表明,用户收到的电子邮件中,80%是垃圾邮件。但是,这里仍然假定垃圾邮件的“先验概率”为50%。)
    我们用S表示垃圾邮件(spam),H表示正常邮件(healthy)。因此,P(S)和P(H)的先验概率,均为50%。
    
    然后,对这封邮件进行解析,发现其中包含了sex这个词,请问这封邮件属于垃圾邮件的概率有多高?
    我们用W表示“sex”这个词,那么问题就变成了如何计算P(S|W)的值,即在某个词语(W)已经存在的情况下,垃圾邮件(S)的概率有多大。
    根据条件概率公式,马上可以写出:
    
    因此,这封新邮件是垃圾邮件的概率等于99%。这说明,sex这个词的推断能力很强,将50%的“先验概率”一下子提高到了99%的“后验概率”。

十、联合概率的计算
    做完上面一步,请问我们能否得出结论,这封新邮件就散垃圾邮件?
    回答是不能。因为一封邮件包含很多词语,一些词语(比如sex)是这是垃圾邮件,另一些说不是。你怎么知道以哪个词为准呢?
    Paul GraHam的做法是:选出这封邮件中P(S|W)最高的15个词,计算它们的联合概率。(【注释】如果有的词是第一次出现,无法计算P(S|W),Paul Graham就假定这个值等于0.4。因为垃圾邮件用的往往都是某些固定的词语,所以如果你从来没有见过某个词,它多半是一个正常的词。)
    所谓联合概率,就是指在多个事件发生的情况下,另一个事件发生的概率有多大。比如,已知W1和W2是两个不同的词语,它们都出现在某封电子邮件之中,那么这封邮件是垃圾邮件的概率,就是联合概率。
    在已知W1和W2的情况下,无丰就是两种结果:垃圾邮件(事件E1)或正常邮件(事件E2)。
    
    其中,W1、W2和垃圾邮件的概率分别如下:
    
    如果假定所有事件都是独立事件(【注释】严格地说,这个假定不成立,但是这里可以忽略),那么就可以计算P(E1)和P(E2):
    
    又由于在W1和W2已经发生的情况下,垃圾邮件的概率等于下面的式子:
    
    【关于上面这式子,为什么P = P(E1)/(P(E1)+P(E2))?有如下解释】
    在上面已经说明了,E1是在W1和W2同时出现的情况下垃圾邮件的事件,E2是W1和W2同时出现的情况下正常邮件的事件,注意这里的前提都是“在W1和W2同时出现的情况下”。
    那么,P = P(E1)/(P(E1)+P(E2)),其意思是W1和W2共同出现的情况下是垃圾邮件的概率,而P(W1,W2)实际上就是P(E1)+P(E2),所以P = P(E1)/(P(E1)+P(E2))。
    【解释完毕】
 
     即
    
    将P(S)等于0.5代入,得到
    
    这就是联合概率的计算公式。如果你不是很理解,点击这里查看更多的解释。

【感觉推导跳过了几步:来自于评论】
    P(S|W1 W2) = P(W1 W2|S)P(S)/( P(W1 W2| S)P(S) + P(W1 W2|~S)P(~S) )
    W1,W2独立:P(W1 W2) = P(W1)P(W2),P(W1 W2|S) = P(W1|S)P(W2|S)  (?)
     上式=P(W1|S)P(W2|S)P(S) / (P(W1|S)P(W2|S)P(S) + P(W1|~S)P(W2|~S)P(~S))

应用贝叶斯原理,将P(Wi|S)用P(S|Wi)表示:
    上式 = (P(S|W1)P(S|W2)P(S) * P(W1)P(W2) / P(S)^2) / ((P(S|W1)P(S|W2)P(S) * P(W1)P(W2) / P(S)^2) + (P(~S|W1)P(~S|W2)P(~S) * P(W1)P(W2) / P(~S)^2))
    在P(S) = P(~S) = 0.5的条件下:
    上式 = P(S|W1)P(S|W2) / (P(S|W1)P(S|W2) + P(~S|W1)P(~S|W2))
            = P1P2 / (P1P2 + (1-P1)(1-P2));

十一、最终的计算公式
    将上面的公式扩展到15个词的情况,就得到了最终的概率计算公式:
    
    一封邮件是不是垃圾邮件,就用这个式子进行计算。这时我们还需要一个用于比较的门槛值。Paul Graham的门槛值是0.9,概率大于0.9,表示15个词联合认定,这封邮件有90%以上的可能属于垃圾邮件;概率小于0.9,就表示是正常邮件。
    有了这个公式以后,一封正常的邮件即使出现了sex这个词,也不会被认定为垃圾邮件了。
    
    (完)

原文引自:
    http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_two.html
    感谢作者。

时间: 2024-10-09 13:34:23

贝叶斯推断及其互联网应用(二):过滤垃圾邮件的相关文章

[转] 贝叶斯推断及其互联网应用:过滤垃圾邮件

[链接] 数学的美学世界 上一次,我介绍了贝叶斯推断的原理,今天讲如何将它用于垃圾邮件过滤. ======================================== 贝叶斯推断及其互联网应用 作者:阮一峰 七.什么是贝叶斯过滤器? 垃圾邮件是一种令人头痛的顽症,困扰着所有的互联网用户. 正确识别垃圾邮件的技术难度非常大.传统的垃圾邮件过滤方法,主要有"关键词法"和"校验码法"等.前者的过滤依据是特定的词语:后者则是计算邮件文本的校验码,再与已知的垃圾邮件进

贝叶斯推断及其互联网应用(一)

一年前的这个时候,我正在翻译Paul Graham的<黑客与画家>. 那本书大部分谈的是技术哲学,但是第八章却写了一个非常具体的技术问题----如何使用贝叶斯推断过滤垃圾邮件(英文版)? 说实话,我没完全看懂那一章.那时,交稿截止日期已经过了,没时间留给我去啃概率论教科书了.我只好硬着头皮,按照字面意思把它译了出来.虽然交稿了,译文质量也还可以,但是心里很不舒服,下决心一定要搞懂它. 一年过去了,我读了一些概率论文献,逐渐发现贝叶斯推断并没有想象的那么难.相反的,它的原理部分实际上很容易理解,

【转载】贝叶斯推断及其互联网应用(一):定理简介

作者: 阮一峰 原文链接:http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html 一.什么是贝叶斯推断 贝叶斯推断(Bayesian inference)是一种统计学方法,用来估计统计量的某种性质. 它是贝叶斯定理(Bayes' theorem)的应用.英国数学家托马斯·贝叶斯(Thomas Bayes)在1763年发表的一篇论文中,首先提出了这个定理. 贝叶斯推断与其他统计学推断方法截然不同.它建立在主观判

贝叶斯推断及其互联网应用(三):拼写检查

(这个系列的第一部分介绍了贝叶斯定理,第二部分介绍了如何过滤垃圾邮件,今天是第三部分.) 使用Google的时候,如果你拼错一个单词,它会提醒你正确的拼法. 比如,你不小心输入了seperate. Google告诉你,这个词是不存在的,正确的拼法是separate. 这就叫做"拼写检查"(spelling corrector).有好几种方法可以实现这个功能,Google使用的是基于贝叶斯推断的统计学方法.这种方法的特点就是快,很短的时间内处理大量文本,并且有很高的精确度(90%以上).

机器学习算法整理(六)— 贝叶斯算法_拼写纠正实例_垃圾邮件过滤实例

(p(h): 先验概率) 垃圾邮箱过滤实例 原文地址:https://www.cnblogs.com/douzujun/p/8457806.html

贝叶斯过滤器过滤垃圾邮件

贝叶斯过滤器过滤垃圾邮件 什么是贝叶斯过滤器? 垃圾邮件是一种令人头痛的顽症,困扰着所有的互联网用户. 正确识别垃圾邮件的技术难度非常大.传统的垃圾邮件过滤方法,主要有"关键词法"和"校验码法"等.前者的过滤依据是特定的词语:后者则是计算邮件文本的校验码,再与已知的垃圾邮件进行对比.它们的识别效果都不理想,而且很容易规避. 2002年,Paul Graham提出使用"贝叶斯推断"过滤垃圾邮件.他说,这样做的效果,好得不可思议.1000封垃圾邮件可

贝叶斯推断

参考文献: http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html 贝叶斯定理:计算“条件概率”公式 条件概率: 就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示 如图,事件B发生的情况下,事件A发生的概率P(A|B)就是P(A∩B)除以P(B) 因此, 同理可得, 所以, 即条件概率的计算公式 全概率: 假定样本空间S,是两个事件A与A'的和. 上图中,红色部分是事件A,绿色部分是事件A'

贝叶斯推断 &amp;&amp; 概率编程初探

1. 写在之前的话 0x1:贝叶斯推断的思想 我们从一个例子开始我们本文的讨论.小明是一个编程老手,但是依然坚信bug仍有可能在代码中存在.于是,在实现了一段特别难的算法之后,他开始决定先来一个简单的测试用例,这个用例通过了.接着,他用了一个稍微复杂的测试用例,再次通过了.接下来更难的测试用例也通过了,这时,小明开始觉得这段代码出现bug的可能性大大大大降低了.... 上面这段白话文中,已经包含了最质朴的贝叶斯思想了!简单来说,贝叶斯推断是通过新得到的证据不断地更新我们的信念. 贝叶斯推断很少会

分享《贝叶斯方法 概率编程与贝叶斯推断》中文版PDF+英文版PDF+源代码

下载:https://pan.baidu.com/s/1dyaW_x6WhfBxhy1fcxrdNw 更多资料分享:http://blog.51cto.com/3215120 <贝叶斯方法 概率编程与贝叶斯推断>中文版PDF+英文版PDF+源代码 中文版PDF,带目录和书签:英文版PDF,带目录和书签:中英文两版可以对比学习.配套源代码:经典书籍,讲解详细:其中,中文版如图: 原文地址:http://blog.51cto.com/3215120/2313695