特征检测和跟踪经典理论

特征检测和跟踪的经典文献是Shi and Tomasi 1994的文章(见参考文献),虽然年代久远但非常经典。这个paper中提出了一个特征提取方法,一个基于图像仿射变换模型(并论证了只需仿射变换中的translation分量而无需deformation分量)的跟踪算法和一个跟踪时进行特征监测(判断哪些是好feature,哪些是坏feature)的技术。特征提取针对最优化tracking设计,可以根据dissimilarity(between predict-feature-position & real-feature-position)进行坏feature的监测,以便删除。根据dissimilarity进行坏点监测 虽然不能检测出所有坏特征点,但是更改为特定的feature detection算法应该会得到更好tracking的结果。

本篇文章对其做以回顾,分以下几部分进行阐述:

1. 两个图像运动模型

2. 计算图像的运动

3. 纹理特征

4. frame差异dissimilarity

5. 特征点的监测(好坏特征判断)

/*********************************两个图像运动模型——deformation & transformation*********************************/

两幅图像(或两帧之间)图像变化:

假设两个时间点t,t+r在点X(x,y)发生的偏移量为δ(ε,η),则δ是关于位置X的一个函数,δ=DX+d,也就是一个仿射变换,其中D是一个deformation matrix,

d是特征窗口中心的translation平移量。图像坐标X取决于窗口中心。也就是说,两帧Image 1 和 Image 2中一个点由X移动到AX+d。A=E(单位矩阵)+D。给出两幅图I和J,以及I中的一个特征窗口,tracking的过程就是决定Dd中的6个参数。

J(Ax  +  d) =  I(x) .

这个估计的好坏取决于特征窗口大小,窗口内图像的纹理,以及帧间相机移动幅度。当这个window很小的时候,D很难估计,因为motion变化难以估计,而小的窗口便于跟踪,因为不容易造成depth discontinuity. 因此如果只有平移变换(即δ=d)时有很好的实验效果,具有更高的可靠性和准确率。

/*********************************计算图像的运动(模型)*********************************/

由于仿射变换计算的Ad不够精确,将造成误差,我们的目的即最小化ξ

其中,W是feature window,w(x)是权值函数,最简单的情况下设w(x)=1,或者w可以是一个高斯函数,在window 中心的权值最大。仅有平移变换的情况下,A=E;为了最小化上式,我们将deformation matrix D和平移变换矩阵d进行分离,并设置结果ξ为0,然后用截尾泰勒展开式线性化结果:

也就是解6*6的线性方程:Tz=a,其中,将形变矩阵D和平移矩阵d结合起来,误差向量a:


a取决于两幅图像的差。6*6的矩阵T可由下式获得:


其中:

文章中阐述,经常将D设置为零矩阵,因为D和d之间可以通过矩阵V相互影响,即我们可以将系统简化为只求dZd=e

这里,可写作:

其中,z矩阵也称黑森矩阵。这样就可以通过Z和e求得平移变换d。

/*********************************纹理*********************************/

大多window中的特征检测方法都是拍拍脑袋想出来的,不能保证获得好的结果。本文写到,一个单纯的平移d无法很好地描述仿射变换,而一个好的特征可以被很好地跟踪。

已知对于某点的特征矩阵Z的两个特征值λ1,λ2,

1° λ1,λ2都很大——该点为特征点

2° λ1,λ2一大一小——该点为edge(undirected texture pattern)

3° λ1,λ2都小——该点上没有任何明显变化

所以设定一个λ,当min(λ1,λ2)>λ时,该点为特征点。

/*********************************Frame间差异(Dissimilarity)*********************************/

虽然帧间差异很小,但是25帧的累积误差就很大了。事实上,随着帧数的增加,dissimilarity增加很大,如下图:

——:仿射变换模型

------:pure translation

°和+分别表示两个样本集(两个帧序列)

图中有一部分突变为其中一个序列中的特征点部分突然遭遇occluded的原因,这样经过translation变换后得到的特征点位置就相当不准确。

/*********************************特征监测(Monitoring Features)*********************************/

为了限制特征点个数,且令图像中的每一部分只至多被使用一次,规定第一帧中,feature window互不重叠(即设置window大小)。

      

Figure12中所示为一幅图中不同的特征点的跟踪情况,纵轴代表dissimilarity,可以看出feature 58,89的dissimilarity出奇地高,说明这两个点监测结果为坏特征点。再来看这两个feature窗口在不同帧的feature window图(Fig.14):feature.58中,不仅有平移变换,不同帧下的图像发生了变化,那个竖杠逐渐变粗(the gap between the vertical edge in the foreground and the letters in the background widens, and it becomes harder to warp the current window into the window in the first frame(关键原因),thereby leading to the rising dissimilarity),所以不仅仅是仿射变换了,因此该点被监测为bad feature point, and should be deleted。feature.89 同理。

然而,有些非刚性特征不会造成dissimilarity,但他们确实是bad feature. 如下图所示,关注feature 24和60,他们俩的tracking dissimilarity 一直在波动,这是为什么呢?

原文是这样描述的:from the fourth row of fig.14, we see  that  feature 60 (and similarly  feature 24)  contains  very  small lettering,  of  size  comparable to the image’s pixel  size  (the feature window is  25 x  25 pixels). The  matching between  one  frame  and  the  next is haphazard, because  the  characters in  the  lettering  are badly  aliased. 换言之,由于特征点过小,不能进行很好的匹配,经常会进行错误特征点检测,因此他们也是bad feature。

参考文献:

Shi, J. and Tomasi, C. (1994). Good features to track. InIEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’94), pages 593–600, IEEE Computer Society, Seattle.

from: http://blog.csdn.net/abcjennifer/article/details/7688710

时间: 2024-10-16 00:47:35

特征检测和跟踪经典理论的相关文章

读定位经典丛书之《定位》

[引言] 阿芙创始人雕爷曾在一篇文章中反复强调艾·里斯.杰克·特劳特的经典理论--定位--的重要性.对于很多网络购物者来说,提起精油,便会想到阿芙,"阿芙,就是精油!"这一简短的广告语俨然已把"阿芙"推上了"精油"代名词的宝座.阿芙成功的关键可以归功于雕爷对定位理论的深刻理解和把握. [概况] <定位>是艾·里斯和杰克·特劳特21本定位经典丛书中的一本,这本书共22章,我把它总结为了四个部分.第1至13章为第一部分,这部分对定位理论进

CAP原则、BASE理论

CAP原则.BASE理论 2017-12-15 目录 1 CAP原则  1.1 CAP原则是什么  1.2 CAP为何三者不可得兼  1.3 一致性与可用性的决择2 BASE理论  2.1 BASE理论是什么  2.2 ACID和BASE的区别与联系  2.3 最终一致性五钟变种3 分布式系统的典型应用参考 计算机系统从集中式向分布式的变革,随着包括分布式网络.分布式事务和分布式数据一致性等在内的一系列问题与挑战,同时也催生了一大批诸如ACID.CAP和BASE等经典理论的快速发展. 1 CAP

自学TRIZ理论的最全书单,请查收!

读本好书,从书中寻找创新思维,从书中学习企业创新模式.希望这5本书可以为你学习TRIZ理论带来帮助. 1.<创新算法> 作者: 里奇·斯拉维奇·阿奇舒勒 作者简介:根里奇·阿奇舒勒,是前苏联伟大科学家. 推荐理由:中国要成为创新型国家,一个无法回避而且亟待解决的问题是,创新到底有没有方法?苏联的根里奇·阿齐舒勒及其研究同伴们通过对250万份专利的研究,在1946年就发现创新有法可依,这就是TRIZ.通过这个理论的学习和实践,可以实现整个国民创新素质的提升. 2.<TRIZ:打开创新之门的

金融高频数据计量——理论与实证

http://blog.charmpeach.com/investment/%e9%87%91%e8%9e%8d%e9%ab%98%e9%a2%91%e6%95%b0%e6%8d%ae%e8%ae%a1%e9%87%8f-%e7%90%86%e8%ae%ba%e4%b8%8e%e5%ae%9e%e8%af%81%ef%bc%88%e4%b8%80%ef%bc%89/1069/ 本系列以 Hautsch, N. (2011). Econometrics of financial high-freq

一个外汇老鸟的十年一梦----绝对真实!欢迎拍砖!

本人曾经是一名资深股民,在被国内A股市场反复洗劫以后我终于认识到国内的A股是一条老百姓的不归路,势力阶层总是能通过自己手中的强权提前获得内部消息,大的如调印花税.四万亿经济刺激方案.央行加息或者降息周期.稀土战略,小的如某公司即将重大资产并购.重组.借壳上市等,基本上就是一部分权势阶层根据可靠的内部消息提前买好股票就等着消息公布高价卖给我们这样的普通股民,所以我们不管怎么炒总是不断地赔钱,一直赔到你从不服到服,从充满希望到希望渺茫到最后绝望,一直到把你心灵深处藏着的那一点点侥幸心理都彻底剿灭.后

假如我来架构12306网站---文章来自csdn(Jackxin Xu IT技术专栏)

(一)概论 序言:  此文的撰写始于国庆期间,当中由于工作过于繁忙而不断终止撰写,最近在设计另一个电商平台时再次萌发了完善此文并且发布此文的想法,期望自己的绵薄之力能够给予各位同行一些火花,共同推进国内的大型在线交易系统的研发工作,本文更多地站在软件工程角度来看待整个问题,有关后续的技术问题研究,将在另外的博文中予以探讨. 一年一度的国庆大假刚落下帷幕,由于这次长假是历史上最长的一次,因此出行问题备受关注,而铁路出行作为最主要的出行方式更是大家讨论的热点,老生常谈的购票难问题又被提起.这几天我在

曹虞:舍与得

初入金融市场,很多投资朋友都有过这样的经历,他们苦学了上百种指标形态.几十套交易系统,钻研了道氏理论.江恩理论.波浪理论.缠论等若干套经典理论,但最终仍是没有在金融市场中找到属于自己的圣杯. 在帐户绩效方面,大多数朋友都有过成功的经历,但却无法做到持续稳定地盈利.投资者往往在经历了各种尝试性的操作后,会有各种各样的感慨.当然,如果一开始下单方向就错了,那没办法,是因为技术不到家.然而,为什么自己操作的大方向明明是对的,开始时也盈利了,但最后却是亏损出场?为什么开始的小亏损最后却演变成大亏损?为什

Reflect

Reflect 反射是引起SI的一个最基本因素,信号在传输线传播过程中,一旦它所感受到的传输线瞬时阻抗发生变化,那么就必将有发射发生. 反射是由于传输线瞬时阻抗变化而引起的 下面就从理论角度来分析一下反射的机理.反射系数和传输系数的计算 配个简易图来加以说明 图中褐色的为电路板上的大面积铺铜层(GND或者PWR),它是信号的返回路径.绿色和红色是传输线,S1比较宽,S2较窄,很明显在S1和S2的交接处出现了阻抗不连续,根据阻抗计算公式应该是Rs1<Rs2.那么信号传输到这里的时候,从反射的定义来

微信传播系列一:社会传播简述

导语 俗话说"酒香不怕巷子深",表面上说的是酒香引人,实际上是指好酒在街坊邻里间口耳相传,酒借着口碑飘香千里,毋须大张旗鼓的门面,也自会有客似云来. 这就是口碑营销,其背后是社会传播在起作用.线上社交工具的兴起,为传统的社会传播学带来了全新的研究视角,也提供了广阔的应用场景.本文将简要介绍社会传播学中若干经典课题的理论研究,及其在微信中的应用. 1 社会传播学研究什么? 1.1 经典的传播问题 社会传播学想要解答的问题,通俗地讲,就是信息是怎样在人与人之间流转的.经典的定性研究有&qu