深度学习与meanshift结合实现跟踪

深度学习一个重要的作用是实现目标的特征实现自动提取过程,传统的meanshift跟踪常用的有颜色直方图,HOG等边缘特征提取目标实现跟踪,则meanshift跟踪可实现的则是用深度学习自动学习的特征来完成跟踪。好处是对于复杂的情况也能很好的提取目标的特征,使得跟踪的鲁棒性和精度更高。

很多人担心的是实时性的问题,其实来说,深度学习完成的过程主要分成两部,预训练预测,预训练完全可以通过离线训练来完成,那么就可以不用考虑这部分时间。而预测部分消耗的时间相对HOG来说,稍微慢一点(实践)。那么对于实际应用就有其作用。

过程主要是先用标定的方法标定目标为正样本,背景负样本。然后通过patches训练,其中我们利用的是按照像素点来进行训练。以每个像素点为中心,包围的周围的几个像素,这样形成的矩阵框为patches。训练完成的网络保存起来,当下一帧图片到来时则进行预测可以得到目标的置信图。而深度学习主要完成的就是通过训练好的网络得到每张图片的置信图。这部分也可以看做是检测的过程

meanshift跟踪的主要过程就是利用梯度攀升寻找局部最优。简单实践来说,就是寻找候选向量与目标向量之间最相似的特征向量,属于区域匹配问题。所以第一步得到目标的特征向量,这一步可以通过预测第一帧的图像,然后通过置信图中的最明亮区域结合画出来的矩形框确定目标向量,这一步可以改进的空间很大,主要表现在第一帧图像的不能准确表达目标的所有状态,若目标是动态的可形变的,那么这一步就不是完善的,因为后面的每一帧都要和目标向量进行匹配,跟踪过程可能就会产生误差。
 改进的过程一方面可以增加另外的核函数,赋予目标不同的权重,这样目标的表达也更为准确,另一方面,可以再次利用直方图的信息来进行匹配,这样可以改变跟踪框,对目标的形变有一定的容忍性。 当然还可以用其他的函数来代替,比如用relu函数来量化,我采用的就是此种方法。效果来说一般。

利用直方图来说的话一般寻找峰值就是目标特征向量所在的区域。如果用核函数则方框中心区域的目标权重肯定比较大,所以可以考虑高斯核函数。(未实践)

另一个可以改进的地方就是相似函数,一般用巴士系数来表示目标与候选之间的相似程度,但是事实证明效果一般,可以考虑更有效的函数,尤其在应对遮挡,交叉运动等情况有所改善。有很多论文从这方面来改进。

最大的可改进的是利用meanshift在应对遮挡或者交叉运动阴影等条件不好的情况下,一般会有辅助的功能来实现,若是结合meanshift与其他的辅助功能,比如分块思想等,则肯定有更好的效果。

从结论上来看,目标的跟踪精度和成功度都有很大提高。实时性实际需要使用GPU肯定可以使用。

时间: 2024-11-07 22:35:07

深度学习与meanshift结合实现跟踪的相关文章

随时更新———个人喜欢的关于模式识别、机器学习、推荐系统、图像特征、深度学习、数值计算、目标跟踪等方面个人主页及博客

目标检測.识别.分类.特征点的提取 David Lowe:Sift算法的发明者,天才. Rob Hess:sift的源代码OpenSift的作者,个人主页上有openSift的下载链接.Opencv中sift的实现.也是參考这个. Koen van de Sande:作者给出了sift,densesift,colorsift等等经常使用的特征点程序.输出格式见个人主页说明,当然这个特征点的算法,在Opencv中都有实现. Ivan Laptev:作者给出了物体检測等方面丰富C\C++源代码,及部

(转) 深度学习在目标跟踪中的应用

深度学习在目标跟踪中的应用 原创 2016-09-05 徐霞清 深度学习大讲堂 点击上方“深度学习大讲堂”可订阅哦!深度学习大讲堂是高质量原创内容的平台,邀请学术界.工业界一线专家撰稿,致力于推送人工智能与深度学习最新技术.产品和活动信息! 开始本文之前,我们首先看上方给出的3张图片,它们分别是同一个视频的第1,40,80帧.在第1帧给出一个跑步者的边框(bounding-box)之后,后续的第40帧,80帧,bounding-box依然准确圈出了同一个跑步者.以上展示的其实就是目标跟踪(vis

目标跟踪综述(主要是深度学习)

摘要 近年来,深度学习方法在物体跟踪领域有不少成功应用,并逐渐在性能上超越传统方法.本文对现有基于深度学习的目标跟踪算法进行了分类梳理. 经典的目标跟踪方法 目前跟踪算法可以被分为产生式(generative model)和判别式(discriminative model)两大类别. 产生式方法运用生成模型描述目标的表观特征,之后通过搜索候选目标来最小化重构误差.比较有代表性的算法有稀疏编码(sparse coding),在线密度估计(online density estimation)和主成分

吴裕雄--天生自然 神经网络人工智能项目:基于深度学习TensorFlow框架的图像分类与目标跟踪报告(续一)

1.3 项目计划 第一周:深入学习和了解神经网络的工作原理,学习卷积的相关理论. 第二周:使用python的TensorFlow库,编写神经网络深度学习代码,搭建神经网络层,并且了解其工作原理和相关的计算.相关参数的传递等,到htttps://www.kaggle.com/moltean/fruits下载fruits压缩包,对数据进行初步的处理. 第三周:使用TensorFlow搭建卷积神经网络,采用训练集数据对测试集数据进行预测:完成数据可视化,显示每个文件夹中第5张图片.使用Tensorbo

TensorFlow和深度学习新手教程(TensorFlow and deep learning without a PhD)

前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络.并把其PPT的參考学习资料给了我们, 这是codelabs上的教程:<TensorFlow and deep learning,without a PhD> 当然登入须要FQ,我也顺带巩固下,做个翻译.不好之处请包括指正. 当然须要安装python,教程推荐使用python3.假设是Mac,能够參考博主的另外两片博文,Mac下升级python2.7到python3.6, Mac安装tensorflow1.0 好多专业词

秦涛:深度学习的五个挑战和其解决方案

深度学习的五个挑战和其解决方案 编者按:日前,微软亚洲研究院主管研究员秦涛博士受邀作客钛媒体,分享他对深度学习挑战和解决方案的思考 ,本文为秦涛博士在此次分享的实录整理. 大家好,我是微软亚洲研究院的秦涛,今天我将分享我们组对深度学习这个领域的一些思考,以及我们最近的一些研究工作.欢迎大家一起交流讨论. 先介绍一下我所在的机器学习组.微软亚洲研究院机器学习组研究的重点是机器学习,包含机器学习的各个主要方向,从底层的深度学习分布式机器学习平台(AI的Infrastructure)到中层的深度学习.

一线开发者在Reddit上讨论深度学习框架:PyTorch和TensorFlow到底哪个更好?

本文标签:   机器学习 TensorFlow Google深度学习框架 分布式机器学习 PyTorch   近日,Reddit用户 cjmcmurtrie 发了一个主题为「PyTorch vs. TensorFlow」的讨论帖,想要了解这两大流行的框架之间各自有什么优势. 原帖地址:https://redd.it/5w3q74 帖子一楼写道: 我还没有从 Torch7 迁移到 TensorFlow.我玩过 TensorFlow,但我发现 Torch7 更加直观(也许是我玩得不够?).我也尝试了

ICCV研讨会:实时SLAM的未来以及深度学习与SLAM的比较

这篇短文写的很好,我把它copy到这里供大家学习 上一届「国际计算机视觉大会(ICCV:International Conference of Computer Vision )」成为了深度学习(Deep Learning)技术的主场,但在我们宣布卷积神经网络(ConvNet)的全面胜利之前,让我们先看看计算机视觉的「非学习(non-learning)」几何方面的进展如何.同步定位与地图构建(SLAM: Simultaneous Localization and Mapping )可以说是机器人

深度学习在图像识别中的研究进展与展望

深度学习在图像识别中的研究进展与展望 深度学习是近十年来人工智能领域取得的最重要的突破之一.它在语音识别.自然语言处理.计算机视觉.图像与视频分析.多媒体等诸多领域都取得了巨大成功.本文将重点介绍深度学习在物体识别.物体检测.视频分析的最新研究进展,并探讨其发展趋势. 1.深度学习发展历史的回顾 现在的深度学习模型属于神经网络.神经网络的历史可以追溯到上世纪四十年代,曾经在八九十年代流行.神经网络试图通过大脑认知的机理,解决各种机器学习的问题.1986年Rumelhart.Hinton和Will