论文笔记之: Hierarchical Convolutional Features for Visual Tracking

Hierarchical Convolutional Features for Visual Tracking 

ICCV 2015

  摘要:跟卢湖川的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪。因为各个层次提出来的 feature 具有不同的特征。并且将各个层级的特征用现有的 correlation filter 进行编码物体的外观,我们在每一个层上寻找最佳响应来定位物体。

  

  引言:老套路的讨论了现有的跟踪问题存在的挑战以及现有方法取得的一些进展,并且引出了研究 CNN 各个 layer 的特征对跟踪结果的影响。

  现有的 deep learning 的跟踪方法基本都是依赖于训练分类器的方式来实现物体的跟踪。但是这种做法存在两个技术上挑战:

  1. 大部分的算法都只是用到了最后一层提出的 feature,这一层的特征其实是具有一定的偏差性的;

    对于高层视觉识别问题,这些特征提供了有效的语义信息。但是跟踪并不是识别其semantic classes,而是去定位物体的位置。

    那么,很明显,仅仅用最后一层的特征,并不是最优的选择。

  2. 第二个问题是关于提取训练样本。

       训练一个 robust 的分类器需要大量的两本,但是这个在跟踪问题上,并不是非常的适合。因为在一个物体周围进行采样,很难确定哪个算是正样本,哪个是负样本。

  

  本文通过两种方式来解决这两个技术难题。

  (1)利用神经网络的各个层的特征,联合的来表示所要跟踪的物体;

  (2)在各个层次自适应学习 correlation filter,而不必去进行样本的 sampling。

  

  本文总结的几个贡献点为:

  1. 结合了各个层次的特征,进行物体的特征表示;

  2. 采用线性 correlation filter 的方式在每一层来降低 sampling ambiguity。我们 infer 物体位置是通过一种 multi-level correlation response map in a coarse-to-fine fashion.

  3. 充分的实验。



  为了更好的理解现有方法和传统方法的区别和联系,本文的相关工作写的还是挺不错的。现在我们来分析下这个小节:

  Tracking by Binary Classifiers .

  跟踪问题可以看做是局部窗口内的一个重复的检测问题,即:tracking by detection的思路。这种分类器学习的方式经常是 online的。

  但是,在物体周围采样本的时候,经常会遇到模糊采样的问题,导致轻微的不准确采样就会使得分类器不准确,从而导致逐渐的偏移。已经有许多算法提出以尝试解决上述问题。核心的 idea就是如何合适的更新一个判别分类器来降低 drift。这里作者给出了许多例子,这里就不一一列举了。

  Tracking by Correlation Filters .

  相关滤波最近吸引了很多研究者的眼球,由于其采用了快速傅里叶变换,速度极快。基于 correlation filter 的跟踪方法回归所有输入特征的 circular-shifted versions 到一个目标高斯函数,从而不使用 hard-thresholded samples of target appearance.

  本文也是基于这种方法来做得,不同的地方在于,本文的方法结合了不同层次上的特征,而不是传统手工特征。

  那么,看到这里,其实本文的工作一句话来说就是:组合了深度学习的特征 +  现有的 correlation filter 进行跟踪。其实,学术贡献点并不是很大,居然可以发 ICCV 。。。

  

  Tracking by CNNs .

   视觉表示是跟踪问题中非常重要的问题,传统方法设计了很多非常有效的表示,例如:子空间表示,颜色直方图。最近CNN 的表示已经被广泛的验证了其有效性。

   然后作者列举了几个深度学习的工作,指出其不足之处在于:仅仅用到了最后一层的 feature,这是远远不够的。

  

  可以看出相关工作的写作,是非常具有针对性的。列举前人工作的时候,要根据自己方法的特色来划分类别和指出别人的不足。

  本文的贡献点是:CNNs +  different feature + correlation filter

  所以,作者从这三个角度,分别攻击了前人方法的不足,其实是借助了另外的两个成分来弥补当前谈论的方法的缺陷。这个写作技巧可以借鉴在以后的文章写作中去。

  下面这幅图展示了各个 layer 特征的不同。



  本文所提出的方法流程

    文章的主题部分大致分为几个部分:

  1. 卷积特征的提取;

  2. Correlation Filter 的相关介绍;

  3. Coarse-to-Fine Translation Estimation ;

  4. Model Update

  本文的算法流程如下所示:

  



  实验结果:



  

  总结:

  个人感觉这个文章的学术贡献点,并不是非常的充分,只是简单的组合。不过看来,大家对于如何更好的利用深度学习来做跟踪问题,并没有特别好的办法。只是简单的利用其提出的强有力的特征来表达所跟踪的问题。所用的跟踪算法也是现有的,只是借用了不同 CNN layer 的特征。那么,未来的跟踪算法该如何更好的借助 CNN 这个工具,得到更加有效,智能的跟踪算法呢?

路漫漫其修远兮,吾将上下而求索 。。。

  

时间: 2024-08-11 07:34:45

论文笔记之: Hierarchical Convolutional Features for Visual Tracking的相关文章

论文笔记《Fully Convolutional Networks for Semantic Segmentation》

<Fully Convolutional Networks for Semantic Segmentation>,CVPR 2015 best paper,pixel level, fully supervised. 主要思路是把CNN改为FCN,输入一幅图像后直接在输出端得到dense prediction,也就是每个像素所属的class,从而得到一个end-to-end的方法来实现image  semantic segmentation. 我们已经有一个CNN模型,首先要把CNN的全连接层

论文笔记 Interpreting Black-Box Classifiers Using Instance-Level Visual Explanations

Subject: Interactive Model Analysis Target: Verify the performance of a model Existing methods: statistical methods, in an aggregated fashion (e.g. accuracy) Related work: White box approach: Aiming at visualizing the internal structures of the model

论文笔记 Densely Connected Convolutional Networks

首先我们从宏观的角度理解一下这篇论文做了什么.这篇论文引入了一个"Dense Block",该模块的的组成如下图所示(要点就是,Input输入到后续的每一层,每一层都输入到后续层) 在实际应用的时候,如果我们将"Dense Block"作为一个building block,那么可以按照如下的方式构建深度网络结构(是不是一下子就理解了这篇文章做了什么?).  下面我们来分析一下这个"Dense Block"的一些特点 "Dense Blo

论文笔记之: Recurrent Models of Visual Attention

Recurrent Models of Visual Attention z

【论文笔记】Learning Convolutional Neural Networks for Graphs

Learning Convolutional Neural Networks for Graphs 2018-01-17  21:41:57 [Introduction] 这篇 paper 是发表在 ICML 2016 的:http://jmlr.org/proceedings/papers/v48/niepert16.pdf 上图展示了传统 CNN 在 image 上进行卷积操作的工作流程.(a)就是通过滑动窗口的形式,利用3*3 的卷积核在 image 上进行滑动,来感知以某一个像素点为中心

论文笔记之:Siamese Instance Search for Tracking

最近一直在赶AAAI 的deadline,几乎停滞了文章的阅读,今天虽属休息日,拿来之前一直想看的paper,继续写,为接下来的 tracker 打下基础... 今天要讲的是做视觉跟踪的,利用孪生网络进行示例的搜索,就是利用海量video学习一个匹配函数(matching function),通过后续视频帧和第一帧视频的匹配,达到跟踪的目的.猛地一看,这么简单的思路,效果能好吗?但是在tracking的benchmark上也达到了 0.8+的精度.

论文笔记之:Learning Multi-Domain Convolutional Neural Networks for Visual Tracking

Learning Multi-Domain Convolutional Neural Networks for Visual Tracking CVPR 2016 本文提出了一种新的CNN 框架来处理跟踪问题.众所周知,CNN在很多视觉领域都是如鱼得水,唯独目标跟踪显得有点“慢热”,这主要是因为CNN的训练需要海量数据,纵然是在ImageNet 数据集上微调后的model 仍然不足以很好的表达要跟踪地物体,因为Tracking问题的特殊性,至于怎么特殊的,且听细细道来. 目标跟踪之所以很少被 C

Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记

Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪,算是单目标跟踪中比较早的应用强化学习算法的一个工作.  在基于深度学习的方法中,想学习一个较好的 robust spatial and temporal representation for continuous video data 是非常困难的.  尽管最近的 CNN based tracke

Convolutional Deep Belief Networks 卷积深信度网络 论文笔记

参考论文:1.Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations                   2.Stacks of Convolutional Restricted Boltzmann Machinesfor Shift-Invariant Feature Learning 预备知识:http://blog.csdn.net/zouxy