概率论学习小结(road map)

在最近学习模式识别和机器学习时经常会用到概率论的知识,索性重新复习一遍概率论的知识。学习概率论最重要的一点不是公式的记忆,而是对公式背后的含义的理解。(其实学习任何一门知识都是如此,但是相比高数等的抽象性来说,概率可能显得更“接地气”)

曾经在大学时代数学中学的最差的一门课便是概率论,然而最近的学习中,在几经挣扎之后却渐渐找到了这门课的乐趣,在本科时候学习的那个小小的课本将概率论的趣味完全遮盖住了。

学习概率论首先要明白这门课的意义。概率论顾名思义是研究事件发生的可能性的学科,这里不使用书中严格的数学语言去描述,而是重在清晰明了的从其含义上去理解概率论。

在整个概率论学习过程中,都是围绕着概率的计算进行的。例如,离散随机事件的概率,连续随机事件的概率,条件概率,随机变量的联合分布、边缘分布。这里离散随机事件和连续随机事件的概率分布是指单个随机事件的情况,而联合分布、边缘分布为多个随机事件的情形。在涉及到多个事件的时候往往会有相互独立的事件,以及条件分布。概率论中还会介绍随机变量的函数的概率分布(仅仅和一个随机变量有关系),以及两个随机变量的和的概率分布(两个随机变量)、商的概率分布等。总之,这里所有介绍的内容均是计算随机变量的概率相关的。这里不得不介绍一个概率密度函数的概念,对离散随机变量,变量的每个可能取值均会对应一个概率,而在连续情况下,每个点发生的可能为0,也就是概率为0,而在随机变量在一个区间中的取值却是可能发生的,因此对连续随机变量去概率的导数,即概率密度函数。在初步了解概率分布之后,概率论还会讨论概率分布的一些重要性质如期望和方差等,这些在实际应用中均具有重要作用。以上的讨论均是在知道随机变量的概率分布的前提下(尤其是连续型随机变量的概率密度函数),然而在实际应用中我们可能不知道其具体的概率分布。有时候我们会知道概率分布的形式(多项式分布、高斯分布等),由他们的概率密度函数知,这些分布往往仅依靠少数参数即可获取(如高斯分布的均值、方差),因此,书中会介绍参数估计的方法,求已知分布形式下概率分布的具体密度函数。那么,我们该如何之后这个随机变量的概率分布形式呢?有时候是由模型自身决定的(例如,n次抛硬币的分布为伯努利分布),有时候是有一些研究结果得出的(例如大数中心定理告诉我们那些服从高斯分布的故事~~)。

概率论的定义到目前为止仍然没有一个统一的说法,但是比较常见的有:经验概率(e.g.明天有80%的可能性会下雨);频率概率(e.g.抛硬币得到正面和反面的可能性相同);还有一个就是我们现在概率的基础,建立在3个公理之上的概率论了。所谓的三个公理如下:

  • 0≤P(A)≤1
  • P(Ω)=1
  • 加法公理

在学习概率论的时候,我最讨厌的内容(没有之一)就是在古典概型时介绍的排列组合求解某一事件发生的概率部分了。当初在学习概率论的时候刚开始就被麻烦的排列组合给拍死了,排列组合各种题目的多变性是有规律可循的,可以将这种题目分为几种不同的类型,加以理解,便可以求解此类题目了。然而,问题在于排列组合在概率论此处存在的意义就是作为古典概型的一种方式,去求解事件发生的可能性,也就是概率,如果被排列组合这条拦路虎给挡在了概率论的门口,只能叹息了。当初我也是因为这个地方对概率论层深深的厌恶,然而此次学习时,在了解到排列组合在这里的作用之后,了解了一下基本定理,果断先忽略之,而是去了解后面更有意思的内容了(这个对我来说,没多大用处,因此不想在此处花费过多的时间,要将时间用在刀刃上,嘿嘿)。

学习概率论不得不提的是伟大的“贝叶斯公式”,在阅读了《pattern recognition and machine learning》之后,让大大的觉得这个公式的重要性在概率论的学习过程中被一笔带过了。一般的概率论书中对贝叶斯公式一般会举一个非常经典的例子:某种疾病化验结果为阳性时,被化验的人实际得病的概率是多少。在学习概率论的时候我们几乎都做过这样的题目,根据题目中所给的条件,对应上贝叶斯公式的每一项,从而“成功”的求解问题。这里往往还需要注意的是贝叶斯公式的分母需要使用全概率公式计算才能得出。然而此处对贝叶斯公式的机械理解做题,却忽略了贝叶斯公式的真正含义。贝叶斯公式是给我们提供了一种通过增加新的知识而改变对原有的事件发生可能性的一种方法,这里不多做说明,后面会单独写一章专门介绍贝叶斯公式及其应用初探。

总之,概率论是一门很有意思的学问,这里仅仅是对概率论的内容做个小结,而更深入的学习,期待有机会能对我感兴趣的内容总结出不同的专题。

时间: 2024-12-18 06:45:36

概率论学习小结(road map)的相关文章

缓存学习小结(一)

(Java)缓存的分为文件缓存或磁盘缓存(disc cache)和内存缓存(memory cache)两种:文件缓存就是把数据存储在本地磁盘上,内存缓存通常是一个map.缓存的作用就是把首次从网络的获取数据保存起来,当再次访问的时候可以直接从缓存中获取数据而不是从网络中重新加载.可以减少系统开销,提高响应速度. 单独使用内存缓存和单独使用文件缓存应用的执行流程如下所示: 内存缓存和文件缓存同时使用的情况下的流程图大致如下所示: 需要注意的是,当从网络加载数据的时候用一个线程或者提供一个线程池来完

HTML5学习小结

HTML5是用于取代1999年所制定的 HTML4.01和XHTML1.0标准的HTML标准版本.HTML5的第一份正式草案已于2008年1月公布:2012年12月,规范已经正式定稿.W3C计划在2014年底发布HTML5推荐标准,在2016年底发布HTML5.1推荐标准.HTML5有两大特点:强化了Web网页的表现性能:追加了本地数据库等功能. HTML5向前兼容,只去除很少的部分,比如<frame><font>等.HTML5面向移动,支持IP,GPS,WIFI MAC,GSM/

DS第七章学习小结

第七章小结 先列出一些基本的概念: ①关键字:数据元素(记录)中某个数据项的值,用它可以表示一个数据元素. ②动态查找表/静态查找表:若在查找的过程中进行修改操作(插入或删除),则相应的表为动态查找表,否则为静态查找表. ③平均查找长度:为确定记录在查找表中的位置,需和给定值进行比较的关键字个数的期望值称为查找算法在查找成功时的平均查找长度.公式如下:ASL=∑PiCi (i=1,2,3,…,n),可以简单以数学上的期望来这么理解.其中:Pi 为查找表中第i个数据元素的概率,Ci为找到第i个数据

git学习小结

背景:最近因为工作原因,需要将以前的代码库由bitbucket重新布置在一台服务器上,所以就学习了下git,特此记录下 在167这台机器上搭建apache,用做git server,由于以前apache都已经搭好了,所以这里只配置git server 就可以了,此处贴出配置: 服务器搭好了,来到配置中的root目录,git clone https://[email protected]/XXXX 此时,库和服务器都搭好了,用于新库测试的机器也可以从git server上克隆库了,来,我们来试试从

网络编程学习小结

几种网络编程方式: ISAPI.CGI.WinInet.Winsock 它们之间的差别: 1)  ISAPI主要是开发基于浏览器client与server端程序.效率比CGI方式高,并且也扩展了CGI没有的一些功能.(基于TCP/IP模型中的应用层) 2)  CGI主要是开发基于浏览器client与server端程序.(基于TCP/IP模型中的应用层) 3)  WinInet主要是开发client程序.(基于TCP/IP模型中的应用层) 4)  Winsock主要是基于socket来开发clie

MogileFS学习小结

大纲: 一.关于MogileFS 二.常见分布式文件系统 三.MogileFS基本原理 四.MogileFS的实现 一.关于MogileFS 当下我们处在一个互联网飞速发展的信息社会,在海量并发连接的驱动下每天所产生的数据量必然以几何方式增长,随着信息连接方式日益多样化,数据存储的结构也随着发生了变化.在这样的压力下使得人们不得不重新审视大量数据的存储所带来的挑战,例如:数据采集.数据存储.数据搜索.数据共享.数据传输.数据分析.数据可视化等一系列问题. 传统存储在面对海量数据存储表现出的力不从

201671010130 2016-2017-2 《Java程序设计》第四周学习小结

第四周学习小结 本次实验巩固了上次实验分隔数并求和的题,目前这个题有两种做法,一种是不断对数10求余,余数保存在sum中,然后左移一位,直到余数为零.另一种就是将数字强制转换成一个字符串数组String s=String.valueOf(num),根据方法s.toCharArray()将字符分离出来,据"x"-"0"=x,unicode码值相减即可得x的值. 父类和子类能够看两个交集,super关键字是否能够看做一个子类和超类的接口呢? 在子类中可以增加域.增加方法

初识ASP.NET---点滴的积累---ASP.NET学习小结

差不多十多天前学习完了北大青鸟的学习视频,没想到没几天的时间就看完了XML视频和牛腩的Javascript视频.学习完了也该总结总结,理理自己的思路,消化一下自己学习到的东西. 视频中的理论知识并不是很多,以例子驱动学起来也不会他过于乏味.全部的学习内容大概的可以用下图表示. 个人感觉这套视频的体系感不是很强,每一集之间老师的串联并不是做得很好,向我等没有教材的有些小的知识无从知晓.但是不能不说这套视频确很适合初学者学习,老师讲解的也不错,从此我也算是入门. 当然要想进一步的了解ASP.NET并

【工作中学习2】Map的使用及排序(第三个参数)

项目进行中,使用到Map(std::map),Map要点整理如下: 1. Map,也叫关联数组,提供key/value(键/值对),key用来索引,value是被存储和检索的数据. 2. key值唯一(Multimap除外). 3. Map的内部数据结构是红黑树. 3. 可以用下标操作符,添加Map中的数据,例如map[1] = 2;,用下标操作符查找数据时,如果数据不存在,会被自动插入到Map中. 4. Map中的数据默认按照由key从小到大排序(less),可以修改第三个参数(可选)来修改排