贝叶斯公式的共轭分布

共轭分布是一种极大简化贝叶斯分析的方法。其作用是，在贝叶斯公式包含多种概率分布的情况下，使这些分布的未知参数在试验前被赋予的物理意义，延续到试验后，便于分析。

1. 贝叶斯公式

贝叶斯公式如下：

其中，表示模型中的未知参数，表示样本。这里有三个重要的概念：先验分布、似然函数，以及后验分布。

是先验分布，表示在观察样本之前，按照经验认为符合某种概率分布。比如说在抛硬币之前，我们认为正反两面出现的概率各为1/2。

是似然函数，表示在给定模型参数的条件下，样本数据服从这一概率模型的相似程度。

是后验分布，表示在观察一系列样本数据后，模型参数服从的概率分布。即，对先验分布进行了修正，更接近真实情况。

另外，因为是样本，所以是一个确定的值。

2. 共轭分布的定义

在贝叶斯公式中，如果先验分布和似然函数使得后验分布具有和先验分布相同的形式，那么就称先验分布和似然函数是共轭的。

3. 举例说明

3.1 Beta分布与二项分布共轭

Beta概率函数如下:

其中，是一个常系数。除去常系数不看，Beta函数与二项分布函数具有相同的形式，即。如果把Beta分布当做先验分布，二项分布函数当做似然函数，那么通过贝叶斯公式计算得到的后验分布与先验分布具有相同的形式。所以，Beta分布和二项分布共轭。

3.2  Dirichlet分布与多项分布共轭

Beta分布扩展到多维是 Dirichlet分布（狄利克雷分布），二项分布扩展到多维就是多项分布。Dirichlet分布函数如下：

多项分布函数如下：

其中，K是指K维。和都是常系数，不看常系数，Dirichlet函数与多项分布函数具有相同的形式，因此计算得到的后验分布也与先验分布有相同的形式。即，Dirichlet分布和多项分布式是共轭的。