Part I/ Chapter 3 概率论&结构化概率模型

概率论:用于表示不确定性声明的数学框架,它不仅提供了量化不确定性的方法,也提供了用于导出新的不确定性声明的公理。

一、概率论在人工智能领域的用途:

  ①概率法告诉我们AI系统如何推理,据此我们设计一些算法来计算或者估算由概率论导出的表达式;

  ②我们可以用概率和统计从理论上分析为我们提出的AI系统的行为。

二、不确定性的三种可能来源:

  ①被建模系统内在的随机性;

  ②不完全观测;

  ③不完全建模。

三、频率派概率(frequentist probability):直接与事件发生的频率相联系的概率,如扑克牌游戏中抽出一手特定的牌的概率。

贝叶斯概率(Bayesian probability):涉及到确定性水平的概率,如病人患的病是流感的概率。

四、随机变量:可以随机地取不同值的变量。可以是连续的或者离散的。

五、概率分布:用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。

  1、离散型变量的概率分布由概率质量函数(probability mass function)描述,连续型随机变量的概率分布由概率密度函数(probability density function)描述。

  2、联合概率分布、边缘概率分布、条件概率。

  3、独立性和条件独立性。

  4、期望(expectation)、方差(variance)和协方差(covariance)。

  5、常用的概率分布:Bernoulli分布、Multinoulli分布、高斯分布、指数分布、Laplace分布、Dirac分布、经验分布。

  6、中心极限定理(central limit theorem):独立同分布随机变量的和近似服从高斯分布(正态分布)。

  7、先验概率和后验概率

六、常用函数及性质:

  1、logistic sigmoid函数:(1+e-x-1,在变量取绝对值很大的正值或负值时出现饱和现象。

  2、softplus函数:log(1+ex),可用于产生正态分布的均值和方差。

七、贝叶斯规则:

  P(x|y)=P(x)P(y|x)/P(y)

结构化概率模型(图模型):用图来表示概率分布的分解

一、对于概率分布的思考:机器学习的算法经常会涉及到在非常多的随机变量上的概率分布,而通常这些概率分布涉及到的直接相互作用都是介于非常少的变量之间的,因而使用单个函数描述整个联合分布概率的效率是很低的,可以将概率分布分解成许多因子的乘积形式,就可以极大地减少用来描述一个分布的参数数量。可以用图来描述这种分解。

二、类型:

  1、有向(directed)模型:用条件概率分布来表示分解。

  2、无向(undirected)模型:用一组函数来表示分解(这些函数并不是概率分布),同时需要除以归一化常数Z得到归一化的概率分布。

  3、有向或者无向并不是概率分布的特性,而是概率分布的一种特殊描述所具有的特性,任何概率分布都可以用这两种方式进行描述。

原文地址:https://www.cnblogs.com/rainton-z/p/11617411.html

时间: 2024-10-26 05:22:24

Part I/ Chapter 3 概率论&结构化概率模型的相关文章

ElasticSearch结构化查询

ElasticSearch结构化查询 Elasticsearch 提供了丰富的查询过滤语句,而有一些是我们较常用到的. 现在我们快速的介绍一下 这些最常用到的查询过滤语句. term 过滤 term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed的字符串(未经分析的文本数据类型): { "term": { "age": 26 }} { "term": { "date": "2014-09-0

结构化开发方法和面向对象开发方法的比较

1. 两者基本思想的比较 1.1结构化方法的基本思想 结构化方法是一种传统的软件开发方法,它是由结构化分析.结构化设计和结构化程序设计三部分有机组合而成的.结构化设计方法是以自顶向下,逐步求精,模块化为基点,以模块化,抽象,逐层分解求精,信息隐蔽化局部化和保持模块独立为准则的设计软件的数据架构和模块架构的方法学.它的要点是是把一个复杂问题的求解过程分阶段进行,而且这种分解是自顶向下,逐层分解,使得每个阶段处理的问题都控制在人们容易理解和处理的范围内. 结构化方法的基本思想主要体现在三个方面. (

结构化与面向对象化之应用比较

结构化与面向对象化之应用比较 引言 软件工程中构建工程经常使用两种方法:结构化方法和面对对象方法.结构化方法由艾兹格.迪杰斯特拉在1967年发表<goto陈述有害论>时提出.面向对象方法在80年代起逐步形成.两种方法各有优点,相伴存在至今.下面我们就来分析.探讨结构化程序设计方法与面向对象的方法的区别,以及在现实应用中如何在两种方法中做出选择. 一.结构化方法 1. 基本思想 结构化方法程序设计的基本思想是: a.自顶向下 b.采用模块化技术 c.分而治之 d.逐步求精地将信息系统按功能分解为

详解Google-ProtoBuf中结构化数据的编码

原文转自:http://www.wuzesheng.com/?p=1258 本文的主要内容是google protobuf中序列化数据时用到的编码规则,但是,介绍具体的编码规则之前,我觉得有必要先简单介绍一下google protobuf.因此,本文首先会介绍一些google protobuf相关的内容,让读者朋友对google protobuf有一个初步的印象,然后,再开始进入正题—-深入浅出地介绍google protobuf中用到的编码规则.下面言归正传,开始今天的话题. 1. Googl

第23章 SEH结构化异常处理(1)

23.1 基础知识 23.1.1 Windows下的软件异常 (1)中断和异常 ①中断是由外部硬件设备或异步事件产生的 ②异常是由内部事件产生的,可分为故障.陷阱和终止三类. (2)两种异常处理机制:SEH和VEH(WindowsXP以上新引进) (3)结构化异常处理(SEH)是Windows操作系统提供的强大异常处理功能.而Visual C++中的__try{} __finally{}和__try{} __except{}结构本质上是对Windows提供的SEH的封装. 23.1.2 SEH的

HTML5结构化标签

一 结构化标签 在之前的HTML页面中,大家基本上都是用了Div+CSS的布局方式.而搜索引擎去抓取页面的内容的时候,它只能猜测你的某个Div内的内容是文章内容容器,或者是导航模块的容器,或者是作者介绍的容器等等.也就是说整个HTML文档结构定义不清晰,HTML5中为了解决这个问题,专门添加了:页眉.页脚.导航.文章内容等跟结构相关的结构元素标签. 在讲这些新标签之前,我们先看一个普通的页面的布局方式: 上图中我们非常清晰的看到了,一个普通的页面,会有头部,导航,文章内容,还有附着的右边栏,还有

结构化异常处理(通过设置CONTEXT结构实现反跟踪)

结构化异常处理是Windows操作系统处理程序错误或异常的技术.在一个应用程序发生错误时,Windows挂起程序,并交由调试器处理,当调试器不能处理时,则调用程序的线程相关的SEH异常处理函数. 异常处理函数可以有一个或多个,采用链表的结构将他们链接起来.当前的处理函数如果不处理,并且有多个处理函数时,可以交由链起来的其它异常处理过程进行处理. 如果程序线程的异常处理函数均选择不处理,如果处于被调试状态,操作系统挂起程序通知调试器. 这时有两种可能: (1)如果程序未处于被调试状态或者调试器仍然

HTML5 常用的结构化标签整理

结构化标签优点: 1.方便浏览器处理和识别,提升了网页的质量和语义. 2.减少了大量无意义的div标签,增强代码的可读性. 结构化标签:(header,nav,body,article,section,aside,hgroup,figure,figcaption,footer) <article>定义外部的内容,可以是一篇新的文章 <aside>定义article以外的内容,aside的内容可用作文章的侧边栏 <figure>用于对元素进行组合,使用figcaption

2015第27周一非结构化数据

非结构化数据包括以下几个类型: 文本:在掌握了元数据结构时,机器生成的数据,如传感器等就一定能够进行解译.当然,流数据中有一些字段需要更加高级的分析和发掘功能. 交互数据:这里指的是社交网络中的数据,大量的业务价值隐藏其中.人们表达对人.产品的看法和观点,并以文本字段的方式存储.为了自动分析这部分数据,我们需要借助实体识别以及语义分析等技术.你需要将文本数据以实体集合的形式展现,并结合其中的关系属性. 图像:图像识别算法已经逐渐成为了主流.此外,这些技术也会产生实体,尽管获取关系以及舆情分析更加