标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM

隐马尔科夫模型(HMM):

图1. 隐马尔科夫模型

隐马尔科夫模型的缺点:

1、HMM只依赖于每一个状态和它对应的观察对象:

序列标注问题不仅和单个词相关,而且和观察序列的长度,单词的上下文,等等相关。

2、目标函数和预测目标函数不匹配:

HMM学到的是状态和观察序列的联合分布P(Y,X),而预测问题中,我们需要的是条件概率P(Y|X)。

最大熵隐马尔科夫模型(MEMM):

图2. 最大熵马尔科夫模型

MEMM考虑到相邻状态之间依赖关系,且考虑整个观察序列,因此MEMM的表达能力更强;MEMM不考虑P(X)减轻了建模的负担,同时学到的是目标函数是和预测函数一致。

MEMM的标记偏置问题:

图3. Viterbi算法解码MEMM,状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;

P(1-> 1-> 1-> 1)= 0.4 x 0.45 x 0.5 = 0.09 ,P(2->2->2->2)= 0.2 X 0.3 X 0.3 = 0.018,

P(1->2->1->2)= 0.6 X 0.2 X 0.5 = 0.06,P(1->1->2->2)= 0.4 X 0.55 X 0.3 = 0.066。

图3中状态1倾向于转换到状态2,同时状态2倾向于保留在状态2;但是得到的最优的状态转换路径是1->1->1->1,为什么呢?因为状态2可以转换的状态比状态1要多,从而使转移概率降低;即MEMM倾向于选择拥有更少转移的状态。这就是标记偏置问题。而CRF很好地解决了标记偏置问题。

MEMM是局部归一化,CRF是全局归一化

另一方面,MEMMs不可能找到相应的参数满足以下这种分布:

a b c --> a/A b/B c/C      p(A B C | a b c) = 1

a b e --> a/A b/D e/E      p(A D E | a b e) = 1

p(A|a)p(B|b,A)p(C|c,B) = 1

p(A|a)p(D|b,A)p(E|e,D) = 1

但是CRFs可以找到模型满足这种分布。

时间: 2024-10-07 05:22:56

标记偏置 隐马尔科夫 最大熵马尔科夫 HMM MEMM的相关文章

隐马尔可夫模型 (Hidden Markov Model,HMM) 转

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值.平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,想花一点时间梳理下,加深理解,在此特别感谢 52nlp 对 HMM 的详细介绍. 考 虑下面交通灯的例子,一个序列可能是红-红/橙-绿-橙-红.这个序列可以画成一个状态机,不同的状态按照这个状态机互相交替,每一个

理论沉淀:隐马尔可夫模型(Hidden Markov Model, HMM)

理论沉淀:隐马尔可夫模型(Hidden Markov Model, HMM) 参考链接:http://www.zhihu.com/question/20962240 参考链接:http://blog.csdn.net/ppn029012/article/details/8923501 本博文链接:http://www.cnblogs.com/dzyBK/p/5011727.html 1 题设 假设有n个骰子(从1~n编号),每个骰子有m面,每面标有一个数字且不重复,数字取值限制在[1,m].(1

【数据结构】树与树的表示、二叉树存储结构及其遍历、二叉搜索树、平衡二叉树、堆、哈夫曼树与哈夫曼编码、集合及其运算

1.树与树的表示 什么是树? 客观世界中许多事物存在层次关系 人类社会家谱 社会组织结构 图书信息管理 分层次组织在管理上具有更高的效率! 数据管理的基本操作之一:查找(根据某个给定关键字K,从集合R 中找出关键字与K 相同的记录).一个自然的问题就是,如何实现有效率的查找? 静态查找:集合中记录是固定的,没有插入和删除操作,只有查找 动态查找:集合中记录是动态变化的,除查找,还可能发生插入和删除 静态查找--方法一:顺序查找(时间复杂度O(n)) int SequentialSearch(St

20、【opencv入门】霍夫变换:霍夫线变换,霍夫圆变换合辑

一.引言 在图像处理和计算机视觉领域中,如何从当前的图像中提取所需要的特征信息是图像识别的关键所在.在许多应用场合中需要快速准确地检测出直线或者圆.其中一种非常有效的解决问题的方法是霍夫(Hough)变换,其为图像处理中从图像中识别几何形状的基本方法之一,应用很广泛,也有很多改进算法.最基本的霍夫变换是从黑白图像中检测直线(线段). 二.霍夫变换概述 霍夫变换(Hough Transform)是图像处理中的一种特征提取技术,该过程在一个参数空间中通过计算累计结果的局部最大值得到一个符合该特定形状

韩施尔产品怎么样 韩施尔产品好不好 韩施尔品牌如何?

韩施尔产品怎么样 韩施尔产品好不好韩施尔品牌如何?韩施尔祛痘面膜,致力于高端护肤,快速解决痘痘困扰.痘痘的问题要早发现,并采取合适的方法早解决,避免造成痘痘毁容的情况发生. 十七岁的高中生李某,小时候长得十分可爱,然而没想到是1年前脸上却疯狂的长痘.一开始,只是长了一两颗,李某也没当回事就自己动手挤掉,但没想到后来越长越多,以至于到满脸都是痘痘.原本爱美的她忍受不了自己的脸变成这样,每天都不想出门,父母见女儿这样也深感焦虑,带着她走访多家医院和美容院冶疗.吃了不少药,也用了不少的护肤品,经常都是

哈夫曼树与哈夫曼编码

哈夫曼树与哈夫曼编码 术语: i)路径和路径长度 在一棵树中,从一个结点往下可以达到的孩子或孙子结点之间的通路,称为路径. 路径中分支的数目称为路径长度.若规定根结点的层数为1,则从根结点到第L层结点的路径长度为L-1. ii)结点的权及带权路径长度 若对树中的每个结点赋给一个有着某种含义的数值,则这个数值称为该结点的权. 结点的带权路径长度为:从根结点到该结点之间的路径长度与该结点的权的乘积. iii)树的带权路径长度 树的带权路径长度:所有叶子结点的带权路径长度之和,记为WPL. 先了解一下

Huffman tree(赫夫曼树、霍夫曼树、哈夫曼树、最优二叉树)

flyfish 2015-8-1 Huffman tree因为翻译不同所以有其他的名字 赫夫曼树.霍夫曼树.哈夫曼树 定义引用自严蔚敏<数据结构> 路径 从树中一个结点到另一个结点之间的分支构成两个结点之间的路径. 路径长度 路径上的分支数目称作路径长度. 树的路径长度 树的路径长度就是从根节点到每一结点的路径长度之和. 结点的带权路径长度 结点的带权路径长度就是从该结点到根节点之间的路径长度与结点上权的乘积. 树的带权路径长度 树的带权路径长度就是树中所有叶子结点的带权路径长度之和,通常记做

《数据结构复习笔记》--哈夫曼树,哈夫曼编码

先来了解一下哈夫曼树. 带权路径长度(WPL):设二叉树有n个叶子结点,每个叶子结点带有权值 wk,从根结点到每个叶子结点的长度为 lk,则每个叶子结点的带权路径长度之和就是: 最优二叉树或哈夫曼树: WPL最小的二叉树. [例]有五个叶子结点,它们的权值为{1,2,3,4,5},用此权值序列可以构造出形状不同的多个二叉树. 其中结果wpl最小值的是:33=(1+2)*3+(3)*2+(4+5)*2: 哈夫曼树的构造: 每次把权值最小的两棵二叉树合并, 代码: typedef struct Tr

韩施尔面膜怎么代理?韩施尔产品怎么样?韩施尔面膜好不好?

韩施尔面膜怎么代理?韩施尔产品怎么样?韩施尔面膜好不好?代理韩施尔面膜加江哥微信:CNJK360.10年百度推广引流经验,带你快速赚钱致富! 或是因为天生爱美的缘故,很多女生或多或少都在保养着自己的肌肤,最怕一个不小心就会毁了自己的脸蛋,无论是多是少,或淡或浓,雀斑始终都是美白的死对头.美白除了调整肤色之外,当然少不了要赶走色斑,虽然淡淡的雀斑代表稚气,而成熟的知性女人拒绝稚气.有人说雀斑有分天生和后天形成,但无论情况如何,只要用对了方法,就能够淡化雀斑,实现“麻雀变凤凰”. [选择祛斑产品效果