Belief Propagation 解决计算机视觉问题

Belief Propagtion在计算机视觉视觉中有相当广泛的应用,当然这一切离不开MRF、CRF等图模型的使用。

很多视觉问题可以表述成一个能量函数的形式,例如,图像的语义分割或者叫做image parsing问题可以表述成一个能量函数的形式:

\begin{equation}
E(f)=\sum_{p\in \mathcal{P}}D_p(f_p)+\sum_{(p,q)\in \mathcal{N}}W(f_p,f_q)
\end{equation}

我们的目标是求这个函数的最小值,其中P 是图像的像素集合,L 是图像的像素所属的标签集合,这些标签对应的像素的我们要求的某些量值,例如图像恢复的像素值,或是更高级的图像语义分割中像素所属于的类别都可以表示。一个标注f 所做的就是给图像的每个像素一个标签,可以把f 看成一个向量或是矩阵,没了图像每个像素p∈P 一个标签f p ∈L 然后我们用一个能量函数衡量这个标注的好坏,就是上面这个式子。大部分都是由两个部分组成,第一个一般叫unary potential,暂且叫一元势函数,第二项一般叫pairwise potential,点对势函数。一般一元势函数的作用是体现单个像素点似然标签,例如在图像恢复里面,像素有很大的可能性是没有被noise更改的,或者在图像语义分割里面每个像素求到的类条件概率。pairwise potential一般是衡量像素与像素之间的标签关系的,关于像素之间的关系,一方面由于图像连续性,我们希望图像的相邻像素会有相同的标签,另一方面,我们也希望在一些必要的地方,例如物体的边缘什么的位置,能够保持这种边缘关系,不要都over smooth成一个标签了,一般这个叫做discontinuity preserving properity。N 在CV里面一般就是图像的四连接grid graph的边,在【1】中解释到,D p (f p ) 是想标签f p  分配给p 的cost,W(f p ,f q ) 是分配两个相邻像素的标签为f p ,f q  的cost,也叫不连续cost,最小化这个函数和最大化MRF的后验概率是等价的。

接着上面的讨论,一般来说discontinuity cost是和相邻像素的差值有关系的,所以一般可以这样定义W(f p ,f q )=V(f p ?f q ) ,这样的话要求的能量函数就成了

E(f)=∑ p∈P D p (f p )+∑ (p,q)∈N V(f p ?f q )

要解决这个问题可以用前一篇提到的belief propagation.也就是message passing

简单就是说对于每个像素都有一个属于某个类的belief,每个像素是四连接的,可以通过连接的边把这个belief传递出去。

参考:

【1】http://wenku.baidu.com/view/0483de18a76e58fafab00384.html

时间: 2024-10-25 13:54:03

Belief Propagation 解决计算机视觉问题的相关文章

Belief Propagation 解决计算机视觉问题 2

http://www.jiwenjida.com/question/40170 http://www.jiwenjida.com/question/40317 http://www.jiwenjida.com/question/40319 http://www.jiwenjida.com/question/40321 http://www.jiwenjida.com/question/40324 http://www.jiwenjida.com/question/40326 http://www

概率图模型推断之Belief Propagation

初步打算把概率图模型中推断方法都介绍一下,包括Belief Propagation,变分方法,MCMC,以及像是Graph cut也做一些说明. 关于Belief Propagation是什么? Belief Propagation是一种信息传递方法,一般用来解关于概率图模型中的推断问题,在这些问题中,单纯地通过公式推导或者MC模拟是很难得到准确答案的,这就需要BP,能够很有效地求解一些特定问题得边缘概率. 首先说明一下为什么边缘概率如此难求,wiki上的例子: X={x i } 是一个离散的随

pgm6

有个比较有意思的想法是编码理论的反问题是 machine learning,这也是这部分学习的一个收获.这个其实很奇怪,编码理论其实是有 ground truth 的,然后通过编码产生"冗余",这样才能通过含有噪声的信道后仍然能够被正确的解码(比较好的是相关的理论上界和最优编码已经非常接近了),这个问题的本质其实也是 inference.那为什么我说 machine learning 是它的反问题呢?我们通常会假定数据本身具有"结构",尽管我们看到的数据是来自某个高

【综述】(MIT博士)林达华老师-"概率模型与计算机视觉”

[综述](MIT博士)林达华老师-"概率模型与计算机视觉” 距上一次邀请中国科学院的樊彬老师为我们撰写图像特征描述符方面的综述(http://www.sigvc.org/bbs/thread-165-1-1.html)之后,这次我们荣幸地邀请到美国麻省理工学院(MIT)博士林达华老师为我们撰写“概率模型与计算机视觉”的最新综述.这次我们特别增设了一个问答环节,林老师针对论坛师生提出的许多问题(如概率图模型与目前很热的深度神经网络的联系和区别)一一做了详细解答,并附在综述的后面. 林达华老师博士毕

计算机视觉算法与代码集锦

计算机视觉算法与代码集锦 计算机视觉是结合了传统摄影测量,现代计算机信息技术.人工智能等多学科的一个大学科,是一片开垦不足的大陆,路很远,但很多人都在跋涉! 本文转自CSDN(地址http://blog.csdn.net/whucv/article/details/7907391),是一篇很好的算法与代码总结文档,转载在此供大家学习参考. 原文如下: UIUC的Jia-Bin Huang同学收集了很多计算机视觉方面的代码,链接如下: https://netfiles.uiuc.edu/jbhua

计算机视觉与模式识别代码合集第二版three

计算机视觉与模式识别代码合集第二版three     Topic Name Reference code Optical Flow Horn and Schunck's Optical Flow   code Optical Flow Black and Anandan's Optical Flow   code Pose Estimation Training Deformable Models for Localization Ramanan, D. "Learning to Parse I

计算机视觉code与软件

Research Code A rational methodology for lossy compression - REWIC is a software-based implementation of a a rational system for progressive transmission which, in absence of a priori knowledge about regions of interest, choose at any truncation time

计算机视觉的一些测试数据集和源码站点

以下是computer vision:algorithm and application计算机视觉算法与应用这本书中附录里的关于计算机视觉的一些测试数据集和源码站点,我整理了下,加了点中文注解. ComputerVision: Algorithms and Applications Richard Szeliski 在http://szeliski.org/Book包含了更新的数据集和软件,请同样访问他. C.1 数据集 一个关键就是用富有挑战和典型的数据集来测试你算法的可靠性.当有背景或者他人

Computer vision:algorithm and application 计算机视觉算法与应用

最近在看Computer vision:algorithm and application计算机视觉算法与应用这本书,感觉对机器视觉学习很好的一本书,下面对书本知识和网上的资源作个总结. 先从后面的附录开始看,其中包括数据集站点,相关机器视觉软件和参考文献,对今后算法学习与实现有用. 下面是学长整理的一些资料,现在搬过来学习学习: 以下是computer vision:algorithm and application计算机视觉算法与应用这本书中附录里的关于计算机视觉的一些测试数据集和源码站点,