现在仍然记得大学最“无聊”的一堂课之一——概率论，出勤人数三个班加起来也没超过正常一个班的数量，当然最后一堂课除外（笑）。个人感觉上课也比较枯燥，当时完全不知道概率论可以用在什么方面，所有听课也就不是那么认真，结果就是期末考试只有70多分（想想当年高数90多线性代数也90······）。然而随着大学毕业，概率论也就离我远去，好像不会再有交集。后来开始“专研”机器学习方面的知识，“朴素贝叶斯”这个名词映入我的眼帘，遥远的记忆才被唤起，记得概率论中有个贝叶斯定理，贝叶斯定理的那个公式当时完全看不明白为什么，是怎么得来的，也就只会拿来用用而已。
前几天在贝叶斯思维这本书上看到了书中所介绍的贝叶斯定理，瞬间豁然开朗，这里做简单叙述，联合概率是乘积可交换的：
p(A and B)=p(B and A)
那么有：
p(A and B)=p(A)p(B|A)
由于没有明确定义A 和B 的含义，所以可以对它们进行互换：
p(B and A)=p(B)p(A|B)
现在可以得到：
p(A)p(B|A)=p(B)p(A|B)
最后两边除以p(B) 得到：
p(A|B)=p(A)p(B|A)p(B)
这样就得到了贝叶斯公式了。
书中提到另一种理解贝叶斯定理的思路：它给我们提供的是一种根据数据集D 的内容变化更新假设概率H 的方法。那么贝叶斯公式可改写成：
p(H|D)=p(H)p(D|H)p(D)
在这种解释里，每项的意义如下：
- p(H) 称为先验概率， 即在得到新数据前某一假设的概率。
- p(H|D) 称为后验概率， 即在看到新数据后，要计算的该假设的概率。
- p(D|H) 是该假设下得到这一数据的概率，称为似然度 。
- p(D) 是在任何假设下得到这一数据的概率，称为标准化常量 。
可以通过全概率公式计算p(D) ，即如果发生某一事件有互不相容的两个可能性，可以这样累加概率：
p(D)=p(B 1 )p(D|B 1 )+p(B 2 )p(D|B 2 )
来个例子？
Monty Hall难题，来自书中的例子。
- 蒙蒂向你示意三个关闭的大门，然后告诉你每个门后面都有一个奖品：一个奖品是一辆车，另外两个是不怎么值钱的奖品。奖品随机配置。
- 游戏的目的是要猜哪个门后面有车。如果你猜对了就可以拿走汽车。
- 你先挑选一扇门，姑且称之为门A，其他两个称为门B和门C。
- 在打开选中的门前，为了增加悬念，蒙蒂会先打开B或C中一个没有车的门来增加悬念（如果汽车实际上就在A门背后，那么蒙蒂打开门B或门C都是安全的，所以他可以随意选中一个）。
- 然后蒙蒂给你一个选择。坚持最初的选择还是换到剩下的未打开的门上。
那么很多人会认为，蒙蒂打开了一个门，汽车就在剩下的两个门中，换门与不换门得到汽车的概率都一样，都是0.5。
如果，蒙蒂选择一扇门打开这个动作是独立的，也就是不受选手选择的那扇门的影响的话（也就是蒙蒂也不知道哪扇门后面有车而在剩下两扇门中随机打开），那么我认为换与不换的概率都是0.5，但问题是，蒙蒂的选择并不是一个独立事件，他根据选手的选择而做出选择（在剩下的门中选没有车的门），那么这不能用独立事件的思维思考了。
我之前见过这题，也思考过，开始也是用独立事件的思维做的，但是看了解释后发现并不是你这么回事。
现在用比较通俗的方法解释吧：
1、假设选手坚持原来的原则，得到车的概率是多少呢？嗯，他一开始就要在三扇门中选中那扇有车的门，所以概率就是1/3。
2、假设选手换门，得到车的概率是多少呢？选手换门得到车，那么他最开始选中的门是没有车的，三扇门中两扇门没车，只要选中这两扇门即可，然后换门就可以得到车，所以这种情况下得到车的概率是2/3。
下面来看看使用贝叶斯思维如何解答吧：
首先假定选手选的是A门，蒙蒂选B门打开而且里面没有车（即为贝叶斯公式中的D ）。
分别假设车在门A，B，C后面的情况：
假设A，先验概率p(H) = 1/3，似然度p(D|H) = 1/2，那么p(H)p(D|H) = 1/6
假设B，先验概率p(H) = 1/3，似然度p(D|H) = 0，那么p(H)p(D|H) = 0
假设C，先验概率p(H) = 1/3，似然度p(D|H) = 1，那么p(H)p(D|H) = 1/3
那么标准化常量p(D) 根据全概率公式得到1/6 + 0 + 1/3 = 1/2。
现在来计算下后验概率：
假设A，后验概率p(H|D) = 1/3
假设B，后验概率p(H|D) = 0
假设C，后验概率p(H|D) = 2/3
可以发现，如果选手选了A门，他继续选择A门得到车的概率是1/3，而换门得到车的概率是2/3。
关于贝叶斯思维的思考今天就到这吧。
版权声明：本文为博主原创文章，未经博主允许不得转载。