1 :
Saliency Detection on Light Field
Nianyi Li, Jinwei Ye, Yu Ji, Haibin Ling and Jingyi Yu.
In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014
2:
传统的saliency detection只是利用一张图像的信息来做,今年的ECCV与CVPR都出现利用多幅图像信息,这篇论文就是利用一种特殊像机的成像来增加信息量:Light field.
利用light field的好处是提供了聚焦度(focusness)与深度信息(depth cues),虽然有算法通过单张图像获得深度信息,但是精确度肯定不如利用light field来得高,当然,light field也带来了相应的存储、计算代价。
利用深度信息来提高saliency detection的performance,可以参考以下几篇论文:
(1) Depth Matters: Influence of Depth Cues on Visual Saliency, ECCV 2012
(2) Leveraging stereopsis for saliency analysis, CVPR 2012
3:
算法的流程如下
(1) 生成一个focal stack与一个all-focus image.本论文是利用Lytro相机获得照片,生成的是后缀名为.lfp的raw格式文件,利用网络上的一个开源包进行all-focus image的合成
(2) 对focal stack与all-focus image分别进行超分割(superpixel)
(3) 对focal stack中的每一幅图像进行in-focus regions detection,并将结果作为focusness measure(focusness prior)。在进行计算时,利用了DCT(Discrete Cosine Transform)与harmonic variance
(4) 计算focal stack中每一幅图像的background likelihood score
(5) 计算objectness score与foreground likelihood score
(6) 分别计算location cues,contrast cues与foreground cues,利用前面得到的各种priors,并进行组合(加权求和的方式)
4: 更多信息
关于此文章更详细的信息可以见作者的项目主页,里面有他们建立的数据库,saliency maps还有代码(可惜核心部分是p码,有些小郁闷)