统计学中的频率学派与贝叶斯学派

对于技术应用人员来说,我们更看重方法的应用,但有时候对知识的背景做一些了解,我觉得还是挺有必要的,能帮助我们理解一些东西。这篇博文里,不会呈现任何计算公式,只是讨论一下贝叶斯学派与频率学派之间的问题。

贝叶斯学派与频率学派是当今数理统计学的两大学派,基于各自的理论,在诸多领域中都起到了重要作用。自20世纪初数理统计学大发展开始,一直到20世纪中叶,频率学派一直占据主导地位,当时诸多大咖如Fisher、K.Pearson等都属于频率学派,而从20世纪中叶以后,贝叶斯学派迅速发展壮大起来,可与频率学派分庭抗礼(我想这也是社会发展的需求,一些问题用原来的方法解决不了,需要一种的新的思维出现来解决问题),由于其发展较新,因此人们也将频率学派称为古典学派。

频率学派与贝叶斯学派的估计思想

对于样本分布,此时我们要对其中的未知进行估计,让我们来看看频率学派与贝叶斯学派分别是如何做的。

频率学派

频率学派认为,对于一批样本,其分布是确定的,也即是是确定的,只不过未知。为什么会有这样的想法?这就要从频率学派的基本宗旨来看了,频率学派认为概率即是频率,某次得到的样本X只是无数次可能的试验结果的一个具体实现,样本中未出现的结果不是不可能出现,只是这次抽样没有出现而已,因此综合考虑已抽取到的样本X以及未被抽取、实现的结果,可以认为总体分布是确定的,不过未知,而样本来自于总体,故其样本分布也同样的特点。  基于此,就可以使用估计方法去推断

贝叶斯学派:

贝叶斯学派否定了概率及频率的观点,并且反对把样本X放到“无限多可能值之一”背景下去考虑,既然只得到了样本X,那么就只能依靠它去做推断,而不能考虑那些有可能出现而未出现的结果。与此同时,贝叶斯学派引入了主观概率的概念,认为一个事件在发生之前,人们应该对它是有所认知的,即中的不是固定的,而是一个随机变量,并且服从分布,该分布称为“先验分布”(指抽样之前得到的分布),当得到样本X后,我们对的分布则有了新的认识,此时有了更新,这样就得到了“后验分布”(指抽样之后得到的分布),此时可以再对做点估计、区间估计,此时的估计不再依赖样本,完全只依赖的后验分布了。

频率学派对贝叶斯学派的批评

        频率学派对贝叶斯学派的批评主要集中在主观概率及与之相关的先验分布的确定问题上。按频率学派的观点,一个事件的概率可以用大量重复试验之下事件出现的频率来解释,这种解释不取决于主体的认识。频率学派认为主观概率不仅难以捉摸,而且与认识主体有关,没有客观性,因而也就没有科学性,这是不可接受的。

针对频率学派的批评,贝叶斯学派做出了以下回应:

1.主观概率事实上是人们常用的概念。例如人们常说:”这个事儿十有八九能成”,这就是人们的一个主观概率,能做出这样的推测人们肯定是考虑了一些因素的(比如考虑了做事儿的人,做事的方法等),这是有一定道理的。

2.在涉及采取行动并承担后果的问题上,每个人了解的情况不同,对问题所具有的只是也不同,他们采取的最佳行动方案也会不同,在这种情况下,不同的人有不同的先验分布是很正常的,要求所谓的“客观性”反倒没有意义了。

频率学派对贝叶斯学派还有一个批评,样本分布一般都是在频率的意义上来解释的,他们认为,既然贝叶斯学派否定频率观点,为何也会用到样本分布?对于这个批评,贝叶斯学派确实是难以做出让人信服的回答,如果做一个彻底的主观概率论者,就必须把样本分布看成刻画样本取各种值在主观上的信服程度,由于样本是已知的,而贝叶斯学派反对把样本放到无穷多可能样本的背景下去考虑这种做法,故而将主观概率的思想推到极端,贝叶斯学派甚至不能去谈论什么样本分布问题。

贝叶斯学派对频率学派的批评

1.关于概率的频率解释观点。许多问题是没法做重复性试验、是一次性的,严格相同甚至大致相同的条件下的重复事实上是不可能的,比如地震观测,因此在这种条件下统计概念和方法的频率解释完全没有现实意义。

2.频率学派基于概率的频率解释,其所导出的方法(点估计、区间估计、假设检验等)的精度和可靠度也只是大量重复下的平均值,这是在抽样之前就已经确定的(也就是前文所说的是确定的),这种不顾实际的样本值而在事前就规定的精度和可靠度是不合理的,而且往往是实际情况大相庭径。直观上人们更倾向于接受的是:统计推断的精度和可靠性如何,与试验结果(样本)有关。

小结

        尽管贝叶斯学派和频率学派的部分观点受到质疑,但是两大学派如今仍然发挥着比较重要的作用,对实际应用中的一些问题,两种学派的方法都能给出比较准确的解决方案,因此对于我们应用者来说,针对不同的应用场景,使用的合适的方法才是主要的。

原文地址:https://www.cnblogs.com/hgz-dm/p/10292949.html

时间: 2024-10-05 05:58:33

统计学中的频率学派与贝叶斯学派的相关文章

机器学习基础统计学(频率派与贝叶斯派)

一.频率派 假设X为随机数据,其矩阵表示维度为N,假设θ为X随机数的特征,频率派认为在一次实验中,如果时间A发生了,那么则认为事件A的发生一定是事件A的概率最大,记为P(x=A)最大,由假设可知事件A发生的概率和θ有关. 极大似然是指一次试验就发生的事件,这个事件本身发生概率最大,极大似然估计具体求解与推导公式如下: 假设:x是服从某个概率的分别,可以用概率P =p(x|Θ),其中Θ为概率分布的某个特征值,p(x|Θ)为事件x发生的概率.现在进行一次关于x的试验,得到样本值为(x1,x2,x3,

理解频率派和贝叶斯派

频率派 \(vs\) 贝叶斯派 一.前言 在使用各种概率模型时,比如极大似然估计 \(logP(X|\theta)\),已经习惯这么写了,可是为什么这么写?为什么X在前,为什么 \(\theta\) 在后,分别代表了什么?这些更深一层的逻辑和理由不是特别清晰,故此梳理一下频率派与贝叶斯派的区别. 本文参考了网络上诸多资料,特别时B站Up shuhuai008和知乎上的贝叶斯学派与频率学派有何不同? 二.理解 贝叶斯派以人为主体,已经观测到的客观事件会对人的认知产生改变(客观事件为人服务) 频率派

机器学习理论基础学习1——频率派 VS 贝叶斯派

频率派 贝叶斯派 theta是个未知的常量,X是随机变量, theta是个随机变量,X是随机变量 MLE最大似然估计 MAE最大后验概率 统计机器学习,优化问题 1)建立模型.概率 2)定义损失函数 3)梯度下降/牛顿法求解 概率图模型 求积分(用蒙特卡洛方法取样) 原文地址:https://www.cnblogs.com/nxf-rabbit75/p/10272391.html

浅析概率中的频率学派观点和贝叶斯学派观点

本文基本上可以认为是PRML的阅读笔记,主要来自于阅读[1]中的内容,如果其中有问题,欢迎指正,非常感谢. 使用随机事件的发生的频率描述概率的方法,就是通常说的古典概型,或者称为频率学派.另外有一个更加综合的观点就是贝叶斯学派,在贝叶斯学派的观点下概率表示的是事件的不确定性大小. 使用概率表示不确定性,虽然不是唯一的选择,但是是必然的,因为如果想使用比较自然的感觉进行合理的综合的推断的话.在模式识别领域,对概率有一个更综合的了解将会非常有帮助.例如在多项式曲线拟合的过程中,对观察的目标变量使用频

贝叶斯线性回归(Bayesian Linear Regression)

贝叶斯线性回归(Bayesian Linear Regression) 标签(空格分隔): 监督学习 @ author : [email protected] @ time : 2015-06-19 原文地址 贝叶斯线性回归Bayesian Linear Regression 原文地址 关于参数估计 极大似然估计 渐进无偏 渐进一致 最大后验估计 贝叶斯估计 贝叶斯估计核心问题 贝叶斯估计第一个重要元素 贝叶斯估计第二个重要元素 贝叶斯估计的增量学习 贝叶斯线性回归 贝叶斯线性回归的学习过程 贝

【原】对频率论(Frequentist)方法和贝叶斯方法(Bayesian Methods)的一个总结

注: 本文是对<IPython Interactive Computing and Visualization Cookbook>一书中第七章[Introduction to statistical data analysis in Python – frequentist and Bayesian methods]的简单翻译和整理,这部分内容主要将对统计学习中的频率论方法和贝叶斯统计方法进行介绍. 本文将介绍如何洞察现实世界的数据,以及如何在存在不确定性的情况下做出明智的决定. 统计数据分析

NeurIPS 2018 中的贝叶斯研究

NeurIPS 2018 中的贝叶斯研究 WBLUE 2018年12月21日 雷锋网 AI 科技评论按:神经信息处理系统大会(NeurIPS)是人工智能领域最知名的学术会议之一,NeurIPS 2018 已于去年 12 月 3 日至 8 日在加拿大蒙特利尔市举办.来自 Zighra.com 的首席数据科学家在参加完此次会议之后,撰写了一篇关于贝叶斯研究的参会总结,雷锋网 AI 科技评论编译整理如下. 此次会议支持现场直播,所有讲座的视频内容均可以在 NeurIPS 的 Facebook 主页上找

贝叶斯推断 &amp;&amp; 概率编程初探

1. 写在之前的话 0x1:贝叶斯推断的思想 我们从一个例子开始我们本文的讨论.小明是一个编程老手,但是依然坚信bug仍有可能在代码中存在.于是,在实现了一段特别难的算法之后,他开始决定先来一个简单的测试用例,这个用例通过了.接着,他用了一个稍微复杂的测试用例,再次通过了.接下来更难的测试用例也通过了,这时,小明开始觉得这段代码出现bug的可能性大大大大降低了.... 上面这段白话文中,已经包含了最质朴的贝叶斯思想了!简单来说,贝叶斯推断是通过新得到的证据不断地更新我们的信念. 贝叶斯推断很少会

《机器学习》西瓜书第七章贝叶斯分类器

先验概率:基于已有知识对司机事件进行概率预估,但不考虑任何相关因素. 后验概率:基于已有知识对随机事件进行概率预估,并考虑相关因素P(c|X). 7.1  贝叶斯决策论 贝叶斯决策论是概率框架下实施决策的基本方法.贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记. 在样本x上的“条件风险”: 我们的任务是寻找一个判定准则h:以最小化总体风险   贝叶斯判定准则:为最小化总体风险,只需在每个样本上选择哪个能使条件风险R(c|x)最小的类别标记. h*称为贝叶斯最优分类器,与之对应的总