贝叶斯法则
贝叶斯法则又被称为贝叶斯定理、贝叶斯规则,是指概率统计中的应用所观察到的现象对有关概率分布的主观判断(即先验概率)进行修正的标准方法。当分析样本大到接近总体数时,样本中事件发生的概率将接近于总体中事件发生的概率。
贝叶斯统计中的两个基本概念是先验分布和后验分布:
1、先验分布。总体分布参数θ的一个概率分布。贝叶斯学派的根本观点,是认为在关于总体分布参数θ的任何统计推断问题中,除了使用样本所提供的信息外,还必须规定一个先验分布,它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据,可以部分地或完全地基于主观信念。
2、后验分布。根据样本分布和未知参数的先验分布,用概率论中求条件概率分布的方法,求出的在样本已知下,未知参数的条件分布。因为这个分布是在抽样以后才得到的,故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布,而不能再涉及样本分布。
贝叶斯公式为
P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)
P(A|B)=P(B|A)*P(A)/P(B)
其中:
1、P(A)是A的先验概率或边缘概率,称作"先验"是因为它不考虑B因素。
2、P(A|B)是已知B发生后A的条件概率,也称作A的后验概率。
3、P(B|A)是已知A发生后B的条件概率,也称作B的后验概率,这里称作似然度。
4、P(B)是B的先验概率或边缘概率,这里称作标准化常量。
5、P(B|A)/P(B)称作标准似然度。
贝叶斯法则又可表述为:
后验概率=(似然度*先验概率)/标准化常量=标准似然度*先验概率
P(A|B)随着P(A)和P(B|A)的增长而增长,随着P(B)的增长而减少,即如果B独立于A时被观察到的可能性越大,那么B对A的支持度越小。
贝叶斯估计
贝叶斯估计对经典计量经济学模型估计方法的扩展在于,它不仅利用样本信息,同时利用非样本信息。
贝叶斯估计
在经典计量经济学模型中广泛采用的最小二乘估计,以及本章讨论的最大似然函数估计和广义矩估计的一个共同特征是,在模型估计中只利用样本信息和关于总体分布的先验信息,而关于分布的先验信息仍然需要通过样本信息的检验,所以说到底还是样本信息。
由于模型估计依赖样本信息,这就要求样本信息足够多,因此,这些估计只有在大样本情况下才具有一定的优良性质。但是在许多实际应用研究中,人们无法重复大量的实验以得到大量的观测结果,只能得到少量的观测结果。在小样本情况下,最小二乘估计、最大似然估计和广义矩估计不再具有优良性质。因而,人们不得不寻求小样本情况下的优良估计方法。贝叶斯估计方法就是其中之一。
a、贝叶斯方法的基本思路
贝叶斯方法的基本思路是:假定要估计的模型参数是服从一定分布的随机变量,根据经验给出待估参数的先验分布(也称为主观分布),关于这些先验分布的信息被称为先验信息;然后根据这些先验信息,并与样本信息相结合,应用贝叶斯定理求出待估参数的后验分布;再应用损失函数,得出后验分布的一些特征值,并把它们作为待估参数的估计量。
贝叶斯方法与经典估计方法的主要不同之处是:
(a)关于参数的解释不同
经典估计方法认为待估参数具有确定值,它的估计量才是随机的,如果估计量是无偏的,该估计量的期望等于那个确定的参数;而贝叶斯方法认为待估参数是一个服从某种分布的随机变量。
(b)所利用的信息不同
经典方法只利用样本信息;贝叶斯方法要求事先提供一个参数的先验分布,即人们对有关参数的主观认识,被称为先验信息,是非样本信息,在参数估计过程中,这些非样本信息与样本信息一起被利用。
(c)对随机误差项的要求不同
经典方法,除了最大似然法,在参数估计过程中并不要求知道随机误差项的具体分布形式,但是在假设检验与区间估计时是需要的;贝叶斯方法需要知道随机误差项的具体分布形式。
(d)选择参数估计量的准则不同
经典估计方法或者以残差平方和最小,或者以似然函数值最大为准则,构造极值条件,求解参数估计量;贝叶斯方法则需要构造一个损失函数,并以损失函数最小化为准则求得参数估计量。