贝叶斯统计

贝叶斯统计是基于贝叶斯定理的一种经典的统计学习方法。假定样本为X，参数为θ，则贝叶斯统计为：P(θ|X)=P(X|θ)*P(θ)/P(X)。其中，P(θ)为先验分布，P(X|θ)表示似然概率，P(θ|X)表示后验分布。在贝叶斯统计中，最重要的一个问题是关于先验分布的选择，它会在很大程度上影响最终结果的好坏。贝叶斯分析要求先验分布能够尽可能准确的反映先验信息。

在贝叶斯统计中，有一个名词叫做共轭分布，之所以采用共轭分布的原因是使得先验分布和后验分布形式相同，一方面可以满足人们的直观感觉，另外一方面可以形成一个链式结构，使得现在的后验分布作为下一次的先验分布加入计算链中。因此，为了使得先验分布和后验分布形式相同，我们定义：如果先验分布和似然概率能够使先验分布和后验分布形式相同，则称先验分布和似然函数式共轭的。