Saliency Detection on Light Field

1 :

Saliency Detection on Light Field

Nianyi Li, Jinwei Ye, Yu Ji, Haibin Ling and Jingyi Yu.

        In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014

2:

        传统的saliency detection只是利用一张图像的信息来做,今年的ECCV与CVPR都出现利用多幅图像信息,这篇论文就是利用一种特殊像机的成像来增加信息量:Light field.

        利用light field的好处是提供了聚焦度(focusness)与深度信息(depth cues),虽然有算法通过单张图像获得深度信息,但是精确度肯定不如利用light field来得高,当然,light field也带来了相应的存储、计算代价。

        利用深度信息来提高saliency detection的performance,可以参考以下几篇论文:

(1) Depth Matters: Influence of Depth Cues on Visual Saliency, ECCV 2012

(2) Leveraging stereopsis for saliency analysis, CVPR 2012

3:

算法的流程如下

       

(1) 生成一个focal stack与一个all-focus image.本论文是利用Lytro相机获得照片,生成的是后缀名为.lfp的raw格式文件,利用网络上的一个开源包进行all-focus image的合成

(2) 对focal stack与all-focus image分别进行超分割(superpixel)

(3) 对focal stack中的每一幅图像进行in-focus regions detection,并将结果作为focusness measure(focusness prior)。在进行计算时,利用了DCT(Discrete Cosine Transform)与harmonic variance

(4) 计算focal stack中每一幅图像的background likelihood score

(5) 计算objectness score与foreground likelihood score

(6) 分别计算location cues,contrast cues与foreground cues,利用前面得到的各种priors,并进行组合(加权求和的方式)

4: 更多信息

关于此文章更详细的信息可以见作者的项目主页,里面有他们建立的数据库,saliency maps还有代码(可惜核心部分是p码,有些小郁闷)

时间: 2024-07-31 11:30:09

Saliency Detection on Light Field的相关文章

paper 27 :图像/视觉显著性检测技术发展情况梳理(Saliency Detection、Visual Attention)

1. 早期C. Koch与S. Ullman的研究工作. 他们提出了非常有影响力的生物启发模型. C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985. C. Koch and T. Poggio. Predicting the Visual World: Silenc

论文阅读:Review of Visual Saliency Detection with Comprehensive Information

这篇文章目前发表在arxiv,日期:20180309. 这是一篇针对多种综合性信息的视觉显著性检测的综述文章. 注:有些名词直接贴原文,是因为不翻译更容易理解.也不会逐字逐句都翻译,重要的肯定不会错过^_^.我们的目的是理解文章思想,而不是为了翻译而纯粹翻译.翻译得不好,敬请包涵O(∩_∩)O~ 欢迎同道中人QQ交流:1505543113 abstract: 随着采集技术( acquisition technology)的发展,许多综合性信息(comprehensive information)

显著性检测:'Saliency Detection via Graph-Based Manifold Ranking'论文总结

对显著性检测的一些了解: 一般认为,良好的显著性检测模型应至少满足以下三个标准: 1)良好的检测:丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的: 2)高分辨率:显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息: 3)计算效率:作为其他复杂过程的前端,这些模型应该快速检测显著区域. 最早在心里学和神经科学等多个学科上,就开始进行显著物体的检测.在计算机视觉领域,已经在人类关注机制的建模方面做出了努力,特别是自下而上的注意机制. 这种过程也称为视觉显著性检测.

Saliency Detection: A Spectral Residual Approach

Saliency Detection: A Spectral Residual Approach 题目:Saliency Detection: A Spectral Residual Approach 作者:Xiaodi Hou, Liqing Zhang 领域:显著性目标检测 类型:新视角, 新方法 概述 The ability of human visual system to detect visual saliency is extraordinarily fast and reliab

显著性检测(saliency detection)评价指标之KL散度距离Matlab代码实现

步骤1:先定义KLdiv函数: function score = KLdiv(saliencyMap, fixationMap) % saliencyMap is the saliency map % fixationMap is the human fixation map map1 = im2double(imresize(saliencyMap, size(fixationMap))); map2 = im2double(fixationMap); % make sure map1 and

视觉显著性简介 Saliency Detection

1.简介 视觉显著性包括从下而上和从上往下两种机制.从下而上也可以认为是数据驱动,即图像本身对人的吸引,从上而下则是在人意识控制下对图像进行注意.科研主要做的是从下而上的视觉显著性,而从上而下的视觉显著性由于对人的大脑结构作用了解还很肤浅,无法深刻的揭示作用原理所以做研究的人也相对较少. 2. 方法 显著性检测一般分为空域和频域. 空域的方法比如:特征提取类似ltti的做法:使用图论知识,显著图建立引入了马尔科夫链:分层提取,并训练SVM用作检测:分析上下文,并模拟返回抑制:分局部,区域,全局,

{ICIP2014}{收录论文列表}

This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinci 10:30  ARS-L1.1—GROUP STRUCTURED DIRTY DICTIONARY LEARNING FOR CLASSIFICATION Yuanming Suo, Minh Dao, Trac Tran, Johns Hopkins University, USA; Hojj

CVPR 2015 papers

CVPR2015 Papers震撼来袭! CVPR 2015的文章可以下载了,如果链接无法下载,可以在Google上通过搜索paper名字下载(友情提示:可以使用filetype:pdf命令). Going Deeper With ConvolutionsChristian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke

paper 15 :整理的CV代码合集

这篇blog,原来是西弗吉利亚大学的Li xin整理的,CV代码相当的全,不知道要经过多长时间的积累才会有这么丰富的资源,在此谢谢LI Xin .我现在分享给大家,希望可以共同进步!还有,我需要说一下,不管你的理论有多么漂亮,不管你有多聪明,如果没有实验来证明,那么都是错误的.  OK~本博文未经允许,禁止转载哦!  By  wei shen Reproducible Research in Computational Science “It doesn't matter how beautif