Selective Search for Object Recognition

http://blog.csdn.net/charwing/article/details/27180421

Selective Search for Object Recognition

是J.R.R. Uijlings发表在2012 IJCV上的一篇文章。主要介绍了选择性搜索(Selective Search)的方法。选择性搜索综合了蛮力搜索(exhaustive search)和分割(segmentation)的方法。选择性搜索意在找出可能的目标位置来进行物体的识别。与传统的单一策略相比,选择性搜索提供了多种策略,并且与蛮力搜索相比,大幅度降低搜索空间,让我们可以用到更好的识别算法。

现实中,很多图像是包含多类别,多层次的信息的,如上图。所以我们要用到多层分割的方法,并且要用多种分割策略。

(一)选择性搜索(selectivesearch)

1.      分层分组:区域包含的信息比像素多,所以我们的特征是基于区域的。为了得到一些小的初始化的区域,用的是[13]中区域划分的方法。

[13]具体看http://blog.sciencenet.cn/blog-261330-722530.html

然后我们的分层分组算法如下:

我们首先用[13]得到一些初始化的区域R={r1,….rn}

计算出每个相邻区域的相似性s(ri,rj)

1.      找出相似性最大的区域max(S)={ri,rj}

2.      合并rt=ri∪rj

3.      从S集合中,移走所有与ri,rj相关的数据

4.      计算新集合rt与所有与它相邻区域的相似性s(rt,r*)

5.      R=R∪rt

直到S集合为空,重复1~5。

2.      各种分割策略

关于s(ri,rj)的计算,我们有多种方法,但要注意的是这些相似性特征应该是可以传递的。如当我们合并ri和rj成rt时,rt的特征可以由ri和rj直接计算,而不需要根据他们每个像素点的值进行重新计算。

(1)      多种颜色模型(color model):文章共比较了8种颜色模型

(2)      相似性准则的补充(complementary similarity measure)

共介绍了四种准则,每一种都是可以快速计算的。

Scolor(ri,rj)用于计算ri,rj的相似性。对每个区域,我们都可以得到一个一维的颜色分布直方图。直方图一共有25个区间,区域i的颜色分布直方图为

如果有3个颜色通道,则n=75。还要用L1 norm来进行归一化。

当i和j合并成t,区域t的颜色分布直方图可以用下面式子进行计算:

t 的size用下面式子计算:

Stexture(ri,rj)我们可以用到SIFT(局部特征描述子)

SIFT介绍见:http://www.cnblogs.com/saintbird/archive/2008/08/20/1271943.html

我们取8个方向,方差为1的高斯滤波器,10个空间的直方图来描述。

如果有3个颜色通道,n=240=8*3*10,同理得到区域i的纹理直方图要用L1norm归一化。

同理,纹理的传递性也可以用(2)式解决。

Ssize (ri,rj)鼓励小的区域尽早合并。

size(im)表示整个图片的像素数目。

Sfill (ri,rj)鼓励有相交或者有包含关系的区域先合并。

BBij指包含i,j区域的最小外包区域。

在这篇文章中,我们用到如下计算相似性:

3.      初始化区域

用[13]得到的初始化区域可以根据阈值k得到不同的结果。

(二)用选择性搜索进行识别(object recognition using selective search)

1.  训练数据的产生

在训练数据上,标注出目标区域,如上图中绿色高亮区域的奶牛,将这些标注区域作为正样本。使用selective search产生目标假设区域(也就是若干个分割区域)。将分割区域的外接矩形和目标标注区域的重叠度在20%~50%之间的区域标注为负样本。我们规定负样本之间不能有超过70%的重叠。

有了正样本和负样本之后,我们用的特征提取方法是:

color-SIFT descriptors[32]+a finer spatialpyramid division[18]

然后进行SVM训练。

2.   迭代训练

采用迭代训练方式,在每次训练完成之后,挑选出false positives样本,并将其加入到训练样本中,其实这便是增加了困难样本数。使用其进行模型训练,直到收敛(精度不在产生变化)。

(三)评价(evaluation)

文章给出了一些判断标准。

ABO(Average Best Overlap)

G应该是物体所在的目标区域。L是selective search算法算出的候选区域。找出Selective Search算法中与该类目标区域覆盖最多的区域。覆盖率由(8)式计算。然后再除以该类的数目。

MABO(Mean Average Best Overlap)就是计算每一类的ABO值,再求均值。

之后的实验都是基于这两个评判标准的,详细结果看论文。

本文提到的Reference:

[13] P. F. Felzenszwalb and D. P.Huttenlocher. Ef?cient Graph-Based Image Segmentation. IJCV, 59:167–181, 2004.

[18] S. Lazebnik, C. Schmid, and J. Ponce.Beyond bags of features: Spatial pyramid matching for recognizing natural scenecategories. In CVPR, 2006.

[32] K. E. A. van de Sande, T. Gevers, andC. G. M. Snoek. Evaluating color descriptors for object and scenerecognition.TPAMI, 32:1582–1596, 2010.

代码下载地址:http://pan.baidu.com/s/1sjOLbat

时间: 2024-10-17 08:11:26

Selective Search for Object Recognition的相关文章

论文阅读笔记--Selective Search for Object Recognition

Selective Search for Object Recognition [email protected] 作者: J. R. R. Uijlings, K. E. A. van de Sande, T. Gevers, A. W. M. Smeulders. 引用: Uijlings, Jasper RR, et al. "Selective search for object recognition." International journal of computer v

Selective Search for Object Recognition 论文笔记【图片目标分割】

这篇笔记,仅仅是对选择性算法介绍一下原理性知识,不对公式进行推倒. 前言: 这篇论文介绍的是,如果快速的找到的可能是物体目标的区域,不像使用传统的滑动窗口来暴力进行区域识别.这里是使用算法从多个维度对找到图片中,可能的区域目标,减少目标碎片,提升物体检测效率. 下面是这篇文章的笔记: 介绍及引言: 图片是分层次的,比如下图中a: 沙拉和匙在沙拉碗里,而碗又在桌子上,另外桌子和木头有关或者说桌子和桌子上的所有东西有关.所以图片中的目标是有层次的. 图片分割应该按层次来,也不存在使用单个策略这样通用

Selective Search for Object Recognition(理解)

0 - 背景 在目标检测任务中,我们希望输入一副图像,输出目标所在的位置以及目标的类别.最常用的算法是滑动窗口方法,但滑动窗口其实相当于穷举图像中的所有子图像,其效率低且精度也受限.该论文提出一种新的生成目标检测框的方法selective search. 1 - 算法流程 step 0:生成区域集R step 1:计算区域集R中每个相邻区域的相似度S step 2:找出最相似的两个区域,将其合并成新区域添加到R中 step 3:从S中移除所有与step 2中相关的区域 step 4:计算新集与所

Selective Search for Object Recoginition

Selective Search for Object Recoginition [email protected] http://blog.csdn.net/surgewong 在前一段时间在看论文相关的工作,没有时间整理对这篇论文的理解.在前面的一篇博客[1]中有提到Selective Search[2],其前期工作利用图像分割的方法得到一些原始区域(具体内容请查看[1]),然后使用一些合并策略将这些区域合并,得到一个层次化的区域结构,而这些结构就包含着可能需要的物体. 博客[3]已经有对这

selectIve search for object recognize

在RCNN中使用到的selective search selectIve search 主要完成的任务有点像是在多目标的图中找到特定的目标的 首先 什么是一幅图中的目标,怎样来区分提取 对于图b,我们可以根据颜色来分开两只猫,但是不能根据纹理来分开. 对于图c,我们可以根据纹理来找到变色龙,但是不能根据颜色来找到. 对于图d,我们将车轮归类成车的一部分,既不是因为颜色相近,也不是因为纹理相近,而是因为车轮附加在车的上面(个人理解是因为车"包裹"这车轮) 所以,我们需要用多种策略结合,才

论文-Selective Search

Selective Search Selective Search for Object Recognition 本文的proposal是object detection领域中的unsupervised learning method中一种著名的方法. Selective Search: (1), Capture all scales,  保证对各种scale的object都可以capture到 (2), Diversification ,  组成object的regions可以是由颜色,曲线,

RCNN,Fast RCNN,Faster RCNN 的前生今世:(1) Selective Search

Selective Search for Object Recoginition 这篇论文是J.R.R. Uijlings发表在2012 IJCV上的一篇文章,主要介绍了选择性搜索(Selective Search)的方法.物体识别(Object Recognition),在图像中找到确定一个物体,并找出其为具体位置,经过长时间的发展已经有了不少成就.之前的做法主要是基于穷举搜索(Exhaustive Search),选择一个窗口(window)扫描整张图像(image),改变窗口的大小,继续扫

第十二弹:SS(Selective Search)

以下开始介绍基于区域选择的目标识别任务的模型.首先介绍一个选择搜索的方法,接着介绍一篇评述所有区域选择算法优劣的论文 一.论文笔记 一.摘要 本文主要介绍物体识别中的一种选择性搜索(Selective Search)方法. 物体识别,在之前的做法主要是基于穷举搜索(Exhaustive Search):选择一个窗口扫描整张图像(image),改变窗口的大小,继续扫描整张图像.这种做法是比较原始直观,改变窗口大小,扫描整张图像,非常耗时.若能过滤掉一些无用的box将会节省大量时间.这就是本文中Se

selective search生成.mat文件

https://github.com/sergeyk/selective_search_ijcv_with_python 里的selective_search.py是python接口 import tempfile import subprocess import shlex import os import numpy as np import scipy.io script_dirname = os.path.abspath(os.path.dirname(__file__)) def ge