机器学习 —— 概率图模型（完结）

　　经过了一段时间的学习，我终于完成了PGM的所有视频课程，但是编程作业并没有结束。最大的体验是手里有了武器和手段，碰见问题不再束手无策或者需要根据自己的直觉经验来设计解决方法。其实按照目前的科技树而言，三种手段在手基本上就不需要担心任何综合型问题了：1、优化理论及方法; 2、深度学习理论；3、概率图模型。有这三种方法则可以对大部分学术问题进行建模，无论什么层面或是类别的问题，总能往这三种框架里塞。简直水文章之神器。

　　1、What is PGM

　　　　PGM 是统计学与机器学习的混合题。其借鉴了统计学的概念以及Intuition，同时使用计算机科学中的数据结构，算法等思想来实现统计学中的概念。

　　2、When we use PGM

　　　　当我们面对的数据不一定准确

　　　　当我们拥有大量的先验知识

　　　　当我们感兴趣的变量不止一个

　　　　当我们需要开拓新的知识

　　3、What we do with PGM

　　　　REPRESENTATION: 构建图的结构

　　　　INFERENCE: 基于已有信息回答感兴趣的问题

　　　　LEARNING:　在合适约束条件下，寻找变量X与变量Y的关系

　　4、How to use PGM

　　　　PGM可以直接拿来应用，已经有很多开源的库和算法，我们只需要设计

　　　　PGM还有待开发，它在效率，设计理论等很多方面都有改进的空间

我有一把锤子，现在看哪儿都是钉子

时间： 2024-10-12 12:09:11

机器学习 —— 概率图模型（完结）的相关文章

机器学习 —— 概率图模型（学习：综述）

今天Google的机器人AlphaGo获得了围棋对阵李世石的第二场胜利,我也进入到概率图模型学习模块的阶段.Machine Learning 令人着迷也令人畏惧. ——题记 1.基于PGM的学习 ANN网络的拓扑结构往往是类似的.同一套模型以不同的样本进行训练,可以获得不同的结果.PGM可以人为的向网络中添加先验知识,在设计以及分析时有更好的可读性.此外,概率图模型在序列变量的学习上,要优于常规机器学习算法.本质上,基于PGM的学习是在给定Dataset的基础上,对随机变量的分布进行估计. 2.

机器学习 —— 概率图模型

概率图模型(PGM)是一种对现实情况进行描述的模型.其核心是条件概率,本质上是利用先验知识,确立一个随机变量之间的关联约束关系,最终达成方便求取条件概率的目的. 1.从现象出发---这个世界都是随机变量 这个世界都是随机变量. 第一,世界是未知的,是有多种可能性的. 第二,世界上一切都是相互联系的. 第三,随机变量是一种映射,把观测到的样本映射成数值的过程叫做随机变量. 上述三条原则给了我们以量化描述世界的手段,我们可以借此把一个抽象的问题变成一个数学问题.并且借助数学手段,发现问题,解决问题.

机器学习 —— 概率图模型（Homework: Exact Inference）

在前三周的作业中,我构造了概率图模型并调用第三方的求解器对器进行了求解,最终获得了每个随机变量的分布(有向图),最大后验分布(双向图).本周作业的主要内容就是自行编写概率图模型的求解器.实际上,从根本上来说求解器并不是必要的.其作用只是求取边缘分布或者MAP,在得到联合CPD后,寻找联合CPD的最大值即可获得MAP,对每个变量进行边缘分布求取即可获得边缘分布.但是,这种简单粗暴的方法效率极其低下,对于MAP求取而言,每次得到新的evidance时都要重新搜索CPD,对于单个变量分布而言,更是对每

机器学习 —— 概率图模型（推理：连续时间模型）

有一种很重要的概率图模型用于SLAM,视觉追踪,识别,传感融合等领域,称为为Template Model. 其特征是每个状态具有多个随机变量,下个状态随机变量的取值受到上个状态的影响.并且随机变量之间的交互属于复制关系.如下图所示: 显然,普通的概率图模型的图是确定的,并不会图的结构不会改变,而这种Template Model的图结构会随着时间的改变自行增殖,故此模型的推理算法需要单独讨论. 1.变未知为已知,图的截断 一种简单的思路是在某个时间点对图模型进行截断,将增殖的PGM变为固定的PGM

机器学习 —— 概率图模型（Homework: Week3）

前两周的作业主要是关于Factor以及有向图的构造,但是概率图模型中还有一种更强大的武器——双向图(无向图.Markov Network).与有向图不同,双向图可以描述两个var之间相互作用以及联系.描述的方式依旧是factor.本周的作业非常有实际意义——基于马尔科夫模型的图像文字识别系统(OCR) 图像文字识别系统(OCR)在人工智能中有着非常重要的应用.但是受到图像噪声,手写体变形,连笔等影响基于图像的文字识别系统比较复杂.PGM的重要作用就是解决那些测量过程复杂,测量结果不一定对,连续测

机器学习——概率图模型（CPD）

CPD是conditional probability distribution的缩写,翻译成中文叫做 条件概率分布.在概率图中,条件概率分布是一个非常重要的概念.因为概率图研究的是随机变量之间的练习,练习就是条件,条件就要求条件概率. 对于简单的条件概率而言,我们可以用一个条件概率表来表达.如图1所示.图1 中表达的是p(g|i,d).幸运的是id都只有两个取值,是一个伯努利分布的函数.但是如果i d 有六个取值呢?比如骰子.那么这张表就会猛然增加到6^2那么长.这是不科学的.并且,常规情况下

机器学习 —— 概率图模型（学习：非完整数据）

1.综述 PGM的学习问题实际上是对参数进行推断.对于给定的数据,需要求出系统参数,从而完善系统的CPD.但是某些情况下,PGM的数据集可能是不完整的.数据集不完整可以分为两种情况:1.数据采集受到了影响:2.使用了隐变量.数据采集受到影响可能出于两种情况,第一种是影响与被采集数据是无关的,例如投硬币,结果硬币找不到了.第二种是和被采集数据有关的,例如在收发数据时,高电平总是踩空.故在使用不完整的数据对模型进行训练之前,需要对造成不完整的原因进行判断.如果对上述两种情况进行建模,则有以下图模型:

机器学习 —— 概率图模型（推理：变量消除）

概率图的一个重要作用是进行推理,针对某个随机变量,告诉我们它到底有没有可能,有多大可能发生.之前在representation相关的内容中,我们更多的关心如何利用概率图减少联合分布的计算量.inference相关的章节就是要介绍如何从联合概率中获得单个随机变量的概率. 1.链状变量消除 对于给定的联合分布函数P(A,B,C,D,E),如果想要知道P(E),只需要将A,B,C,D边际掉.假设P(E)可以有两种取值P(e1),P(e2),P(e1) = P(a1,b1,c1,d1,e1)+P(a2,

概率图模型基础

一.概念引入 很多事情是具有不确定性的.人们往往希望从不确定的东西里尽可能多的得到确定的知识.信息.为了达到这一目的,人们创建了概率理论来描述事物的不确定性.在这一基础上,人们希望能够通过已经知道的知识来推测出未知的事情,无论是现在.过去.还是将来.在这一过程中,模型往往是必须的,什么样的模型才是相对正确的?这又是我们需要解决的问题.这些问题出现在很多领域,包括模式识别.差错控制编码等. 概率图模型是解决这些问题的工具之一.从名字上可以看出,这是一种或是一类模型,同时运用了概率和图这两种数学工具