<知识库的构建> 3-2 条件随机场Condition Random Field

@font-face { font-family: "Cambria Math"; }@font-face { font-family: "DengXian"; }@font-face { font-family: "@DengXian"; }p.MsoNormal, li.MsoNormal, div.MsoNormal { margin: 0cm 0cm 0.0001pt; font-size: 12pt; font-family: "Times New Roman"; }.MsoChpDefault { font-family: DengXian; }div.WordSection1 { }

总结:

建议再看此文之前先了解下马尔科夫随机场,博文链接:

条件随机场是马尔科夫随机场的一种特殊情况,举个例子:

P(Y|X1,X2,X3,Y2,Y3) = P(Y| X1,X2,X3,Y2),则说明Y与Y3无关。

CRF的定义:一系列的随机变量可以生成一个条件随机场

P(Yi|X1,……,Xn,Y1,…Yi-1,Yi+1,……,Yn) = P(Yi|N(Yi))

N(Yi) 表示Yi的邻居,此式子表示Yi只由Yi的邻居决定。

邻居Neighbors:

什么样的变量可以做邻居:互相可以影响的

我们可以把邻居映射到无向图中,则邻居与邻居之间可以相连,形成无向图

举个例子:若Y1,Y2,Y3,是邻居,Y4,Y5是邻居,则可以画出如下的图:

最大的Clique就是左边这个,边为3条。

矢量化的条件随机场Factorizable CRF:当所有概率全部大于0时,此CRF即可以被矢量化

在本章中,CRF是应用于NERC的,所以我们可以把X向量理解为corpus向量,Y向量理解为标签向量。是势函数,即关于向量x,y的势。Ci代表的是Clique i。如何计算势,我们后面再讲。

条件随机场链CRF Chain:在CRF中,若邻居图是一条链,则叫CRF链,所以此时,CRF clique图中只有两个成员,即Yi-1和Yi,也就是本身和其predecessor。

我们之前的概率函数为:

此时Ci = {Yi-1,Yi}

CRF有几种特殊情况:

1 - 每个成分的势都一样时,我们可得

所以此时可以把i放进括号里面,即要知道该成分在X向量中的位置,即对应语料库中哪一个词。

2 - 带features的CRF

我们在NERC章节学到statistical NERC方法中如何用函数表示features,即f(X,i,y) 。此时我们有一个features的向量,即F,并且也定义了每个feature的权重,即w,此时势函数的定义为:

所以我们可得

原文地址:https://www.cnblogs.com/mengzizhao/p/8379033.html

时间: 2024-08-04 00:09:01

<知识库的构建> 3-2 条件随机场Condition Random Field的相关文章

条件随机场Conditional Random Field

听说这个词很久了,最近花了几天时间在啃这块东西. 看了李航的统计学习方法,实际不太理解,上面没有实际的案例,只是列举了一些定理和公式. Conditional Random Field 属于 Markov Random Field, which 可以表示为一个无向图模型. 今天早上看了一下这篇blog,针对例子感觉有些清楚了. http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/ 稍候我再总结一下 原

条件随机场 Conditional Random Fields

简介 假设你有冠西哥一天生活中的照片(这些照片是按时间排好序的),然后你很无聊的想给每张照片打标签(Tag),比如这张是冠西哥在吃饭,那张是冠西哥在睡觉,那么你该怎么做呢? 一种方法是不管这些照片的序列性(照片本来是按照时间排序的),然后给每张图片弄一个分类器.例如,给了你冠西哥一个月的生活照作为训练样本(打了Tag的),你可能就会学习到:早上6点黑乎乎的照片可能就是冠西哥在睡觉:有很多亮色的照片可能就是冠西哥在跳舞:有很多车的照片可能就是冠西哥在飙车. 很明显,照片的序列性包含有很多信息,忽视

随机场(Random field)

一.随机场定义 http://zh.wikipedia.org/zh-cn/随机场 随机场(Random field)定义如下: 在概率论中, 由样本空间Ω = {0, 1, -, G ? 1}n取样构成的随机变量Xi所组成的S = {X1, -, Xn}.若对所有的ω∈Ω下式均成立,则称π为一个随机场.π(ω) > 0. 一些已有的随机场如:马尔可夫随机场(MRF), 吉布斯随机场 (GRF), 条件随机场 (CRF), 和高斯随机场. 二.马尔可夫随机场(Markov Random Fiel

条件随机场(Conditional Random Fields)入门篇

1.1 引言 关系数据有两个特征: 1 待建模实体概率不独立.2 待建模的实体往往有很多特征可以帮助分类.例如,分类网页时,网页的文字信息可以提供很多信息,但网页间的超链接也可以帮助分类.[Tasker et al., 2012] 图模型是一种利用实体间概率依赖性的自然形式,通常,图模型用来表示联合分布P(x,y), y 表示的是期望的预测,x则表示可见的待待建模实体,类似于mechine learing的 输入x(i)与类标记y,但是对非独立变量的联合分布建模会很困难,因为根据乘法公式P(x,

猪猪的机器学习笔记(十八)条件随机场

条件随机场 作者:樱花猪 摘要: 本文为七月算法(julyedu.com)12月机器学习第十八次课在线笔记.条件随机场是一种判别式概率模型,是随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列. 引言: “条件随机场”被用于中文分词和词性标注等词法分析工作,一般序列分类模型常常采用隐马尔科夫模型(HMM),像基于类的中文分词.但隐马尔可夫模型中存在两个假设:输出独立性假设和马尔可夫性假设.其中,输出独立性假设要求序列数据严格相互独立才能保证推导的正确性,而事实上大多数序列数据不能

统计学习方法 李航---第11章 条件随机场

第11章 条件随机场 条件随机场(conditional random field, CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场.条件随机场可以用于不同的预测问题,本章主要讲述线性链(linear chain)条件随机场在标注问题的应用,这时问题变成了由输入序列对输出序列预测的判别模型,形式为对数线性模型,其学习方法通常是极大似然估计或正则化的极大似然估计. 11.1 概率无向图模型 概率无向图模型(probabilist

条件随机场(一)

概率无向图模型 又称马尔可夫随机场(Markov random field)或马尔可夫网络,是一个由无向图表示的联合概率分布. 图是由结点和边组成,无向图中的边没有方向.概率无向图中结点表示随机变量,边表示结点之间的概率依赖关系. 成对马尔可夫性: 设u和v是无向图G中任意两个没有连接边的结点,对应随机变量分别为Yu和Yv,图中其他所有结点为O,对应随机变量组YO,那么给定随机变量组YO的条件下,Yu和Yv是条件独立的,此为成对马尔可夫性,即        (1) 局部马尔可夫性: 设v是无向图

条件随机场 详析

条件随机场(Conditional random fields),是一种判别式图模型,因为其强大的表达能力和出色的性能,得到了广泛的应用.从最通用角度来看,CRF本质上是给定了观察值集合(observations)的马尔可夫随机场.在这里,我们直接从最通用的角度来认识和理解CRF,最后可以看到,线性CRF和所谓的高阶CRF,都是某种特定结构的CRF. 1. 随机场 简单地讲,随机场可以看成是一组随机变量的集合(这组随机变量对应同一个样本空间).当然,这些随机变量之间可能有依赖关系,一般来说,也只

条件随机场 (CRF) 分词序列谈之一(转)

http://langiner.blog.51cto.com/1989264/379166 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://langiner.blog.51cto.com/1989264/379166 条件随机场 (CRF) 分词序列谈之一Langiner 判别式机器学习技术来解决分词问题,其中判别式机器学习技术主要代表有条件随机场,最大熵/隐马尔科夫最大熵.感知机,支撑向量机等,有关它们的相同点与不同点以后有