显著目标检测思路

转自http://www.360doc.com/content/14/0725/09/10724725_396891787.shtml

1、显著目标检测介绍

显著性检测最近几年成了研究热点,从计算机视觉三大会议(ICCV, CVPR, ECCV)上的文章数量就可以看出,大概每届会议都有10来篇的样子,一个这么小的topic,10来篇数量已经很多了。如果你看一看这些文章就会发现,显著目标检测的占了大部分,眼动点预测的很少,大概就一两篇。看到这,有些人也许还不明白显著目标检测和眼动点预测区别。其实,显著目标检测就类似于一个二值分割问题,只不过加了显著这个条件约束;而眼动点预测则是提取出人眼感兴趣的一些点,而不是提取出显著的整个目标区域,也就是说有些像素哪怕是在显著目标上,它也可能不吸引人的眼球。那么为什么显著目标检测文章最近几年这么多呢?究其原因,我个人认为首要就是这个topic简单,不需要太深的数学理论,而且不需要生理方面的研究基础(眼动点预测更侧重人脑的生理方面),容易出文章,谁都可以搞一搞;然后,显著目标检测的应用在计算机视觉上更直接一些,包括图像分割,也就是saliency作为prior,来指导segmentation,来实现unsupervised segmentation。然后,就是图像分类了,可以利用saliency来提高feature的discrimination,如利用saliency来指导sparse code等等吧;最后,就是大牛们itti和borji等的持续push,写了很多的benchmark文章,当然更多是在眼动点预测方面,也有ECCV12关于salient object detection的benchmark。现在的要发个top,最好要和ECCV12 benchmark上的top ranked算法在提到的几个database上比较一下。不过,一个topic持续的发热一段时间以后,很多人发现,显著目标检测也越来越难做了,没有idea了,能想到的,都被用了。那么,我接下来就来讲一讲怎样继续做显著目标检测的研究。

2、显著目标检测的研究思路

第一,借鉴其他相关问题的解决思路来做saliency

我先来介绍一下和salient object detection最相关的两个问题:

1、Segmentation

– Figure/ground segmentation or matting

– Image segmentation or clustering

– Semantic segmentation or image parsing

2、Object detection and recognition

– Class-independent object detection and recognition

– Class-specific object detection and recognition

接下来,我就举一些例子,来说明怎样从这些相关领域来得到启发

第一个例子就是MSRA的yichen wei等ECCV12 Geodesic saliency,这篇文章的主要是利用boundary prior和测地距离来进行显著性检测。而相似的思路也应用于segmentation中,如Geodesic Graph Cut for Interactive Image Segmentation, CVPR 10,就是利用和人为标记的一些先验区域的测地距离,来衡量像素属于目标或者背景可能性,当我们把人为标定的先验区域,用boundary prior替代,就可以实现bottom-up的saliency detection了。而boundary prior在Constrained Parametric Min-Cuts for Automatic Object Segmentation, CVPR 10,也已用到,就是利用boundary prior来指导分割的。

第二个例子就是CVPR13的Salient Object Detection: A Discriminative Regional Feature Integration Approach。相似的思路,也在Constrained Parametric Min-Cuts for Automatic Object Segmentation, CVPR 10中,用来进行segmentation。不同的是一个处理的是region,一个是binary segment。处理region的好处,就是可以加上center-surround等各种saliency的机制。

第三个例子CVPR13的 Saliency aggregation。文章主要是利用local learning的思想,就是说类内差异性,导致一个针对整幅图像库的model不可能对每个图像都好,所以他就对每个图像训练了一个local model。相似的思路,在Object recognition有很多,如Extracting Foreground Masks towards Object Recognition, ICCV 11. 另外, CVPR13 Looking beyond image saliency, 也采用了类似的idea。

第二,利用一些新的技术来进行显著性检测

我们可以借用machine learning方面一些技术,比如说,sparse code,pca,manifold learning,ranking,graph model等来做saliency。这些idea容易搞,就是把一些技术应用到saliency上来。举几个例子,CVPR13的 manifold ranking saliency, pca saliency等,ICCV13 的 Contextual Hypergraph Modelling for Salient Object Detection 等。

3、以后研究思路

我觉得以后的salient object detection可以沿着几个思路做一些。

第一,可以在速度方面做一些工作,毕竟salient object detection 自己几乎没啥用,就是做一些高级应用的pre-processing。

第二,可以做一些sparse code的saliency研究,貌似sparse code在很多方面都要火一阵,比如classification,tracking,super-resolution, denoise等等,是不是在saliency也要火一阵,貌似sparse code的效果还不太好。ICCV13 huchuan lu有一篇 sparse code,效果还不错。

第三,多用一些prior来做saliency。比如可以利用inter-image or out-image等的prior来把saliency这个ill-posed问题转化为well-posed。这是个很好的方向,比如我们可以学习统计的prior或者发现新的prior,相关的思路在segmentation也有了,比如CVPR 13Robust Region Grouping via Internal Patch Statistics 和 ACM MM10 的 Image segmentation with patch-pair density priors。

时间: 2024-10-13 00:57:48

显著目标检测思路的相关文章

目标检测最全论文集锦引用地址 最新进展和研究成果 2019最火目标检测算法centernet 拓展想法以及拓展研究的思路

目标检测最全论文集锦引用地址 最新进展和研究成果 2019最火目标检测算法centernet 拓展想法以及拓展研究的思路 待办 经典论文集锦 https://zhuanlan.zhihu.com/p/36818086 https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html 目标检测最新进展与研究 https://zhuanlan.zhihu.com/p/96115519 centernet思路梳理

基于深度学习的目标检测研究进展

前言 开始本文内容之前,我们先来看一下上边左侧的这张图,从图中你看到了什么物体?他们在什么位置?这还不简单,图中有一个猫和一个人,具体的位置就是上图右侧图像两个边框(bounding-box)所在的位置.其实刚刚的这个过程就是目标检测,目标检测就是"给定一张图像或者视频帧,找出其中所有目标的位置,并给出每个目标的具体类别". 目标检测对于人来说是再简单不过的任务,但是对于计算机来说,它看到的是一些值为0~255的数组,因而很难直接得到图像中有人或者猫这种高层语义概念,也不清楚目标出现在

目标检测的图像特征提取之(一)HOG特征(转载)

目标检测的图像特征提取之(一)HOG特征 [email protected] http://blog.csdn.net/zouxy09 1.HOG特征: 方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子.它通过计算和统计图像局部区域的梯度方向直方图来构成特征.Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功.需要提醒的是,HOG+SVM进行行人检测的方法是法

目标检测与分类

目标检测的一般思路是 1.获取含有大量冗余特征的集合 2.利用机器学习的方法从特征集合中找出能够反映目标物体特性的特征 3.利用找到的特征构造分类器,实现目标检测 当前通用目标检测领域所使用的特征主要可以分为两类. 1.通过划分或变换得到的特征,如使用最广泛的Haar-like特征.这类特征的主要特点是:特征计算十分简单,特征集合的冗余信息能够很好地描述目标物体的特性.另外,只要图像大小确定,特征集合中各个特征的位置以及集合中总的特征数量就是固定的,这使得利用类Haar特征构建分类器比较简单:

基于深度学习的目标检测

普通的深度学习监督算法主要是用来做分类,如图1(1)所示,分类的目标是要识别出图中所示是一只猫.而在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)竞赛以及实际的应用中,还包括目标定位和目标检测等任务.其中目标定位是不仅仅要识别出来是什么物体(即分类),而且还要预测物体的位置,位置一般用边框(bounding box)标记,如图1(2)所示.而目标检测实质是多目标的定位,即要在图片中定位多个目标物体,包括分类和定位.比如对图1(3

ICCV2013、CVPR2013、ECCV2013目标检测相关论文

CVPapers 网址: http://www.cvpapers.com/   ICCV2013 Papers about Object Detection: 1. Regionlets for Generic Object Detection. Xiaoyu Wang, Ming Yang, Shenghuo Zhu, Yuanqing Lin .(暂无源码提供) Website: http://www.xiaoyumu.com/project/detection 这篇文章提出了一种新的特征描

【转】目标检测方法——R-FCN

目录 作者及相关链接 方法概括 方法细节 实验结果 总结 参考文献 作者及相关链接 作者: 作者链接:代季峰,何恺明,孙剑 论文链接:论文传送门 代码链接:matlab版,python版 方法概括 R-FCN解决问题--目标检测 整个R-FCN的结构 一个base的conv网络如ResNet101, 一个RPN(Faster RCNN来的),一个position sensitive的prediction层,最后的ROI pooling+投票的决策层 R-FCN的idea出发点(关键思想) 分类需

CS231n第八课:目标检测定位学习记录

结合视频第八集和笔记:http://chuansong.me/n/353443351445 本节课程从分类(Classification),定位(Localization)和检测(Detection)三个方面入手. 从上图可以直观的看到: 1.对于分类而言,就是对于给定的图片把其划分到给定的几种类别中某一种.很显然,图像中只能存在一种给定类别中的对象. 2.而定位就是找到对应的对象的位置区域,把它框选出来(即Bounding Box),这个选框除了位置信息(x,y)外还要包含其大小信息(w,h)

目标检测之hog(梯度方向直方图)---hog简介0

梯度直方图特征(HOG) 是一种对图像局部重叠区域的密集型描述符, 它通过计算局部区域的梯度方向直方图来构成特征.Hog特征结合SVM分类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功.需要提醒的是,HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的,而如今虽然有很多行人检测算法不断提出,但基本都是以HOG+SVM的思路为主. HOG特征是一种局部区域描述符,它通过计算局部区域上的梯度方向直方图来构成人体特征,能够很好地描述人体的边缘.它对光照变