手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth

本文介绍的方法主要是用到了深度信息。提出了一种新的手指检测以及手型初始化的方法。具有很好的鲁棒性。在不使用GPU的情况下,速度就可以达到25FPS。准确率还相当的高。可以说是现在手势识别中最好的方法了。

当前的很多方法要不就是很慢,要不就是使用了GPU,再或者就是需要非常复杂的初始化。而本文提出的方法重新定义了手势的模型,结合了现在通用的两种方法的优势,并且加上一个约束方程,得到了很好的效果。

1.模型的重新定义

每一只手,定义了一个自由度(DOF)为26 的手的模型,其中的6个自由度代表全局的手的模型(整体);每一个手指还有4个自由度(总共20个)。同时还加上了手的运动学的限制。如下图(a) 所示。( To model hand kinematics, we adopt the commonly used 26 degrees of freedom (DOF) hand motion model: 6 DOFs for the global hand pose and 4 DOFs for each finger, illustrated in Figure 1(a). We preserve the kinematic constraints of the hand by enforcing the joint angles in their valid ranges during optimization. )

除此以外,作者还利用最简单的球体模型来表示手掌:总共用了48个球体来代替一只手。如图(c)所示。

2.方法的选择

作者选用的是两种方法的结合。对于这种点的问题的处理,最广泛的使用的方法是ICP(Iterated Closest Point method)。它是一种基于梯度的优化方法。但是明显的缺点是:很容易被陷在局部最优里面,同时对于非刚体的处理效果也不是很好。

另外还有一种叫做PSO(Particle Swarm Optimization)的方法。他是一种从参数空间搜索最优化参数的方法。在演化的过程中,整个点云的最好位置以及以及每一个点的局部最好的位置都被记录下来。在每一个的演化的过程中,粒子的速度都以它前一个速度的某种运算来更新。这样得到的结果的好处是:能够更好的搜索参数空间,避免那些很差的局部最优值。但是缺点是:速度比较慢。

作者结合两种方式的优点,提出了自己的方法:ICP—PSO Local OPtimization。 它的Key Idea是:each particle takes an additional ICP like gradient descent step before the random particle movement in each PSO generation. In this way, each particle moves faster and minimizes the cost more effectively, as in ICP. All particles interact with each other to sample the promising area more frequently and a single one has a higher chance to jump from a poor local optimum, as in PSO. Consequently, the combined approach converges faster and resists local optima better than both.

3.检测的过程中所使用的不同的方法

不是将每一个点当做是一个3D的点云,乃是将其分解为一个2D的plane和一个1D的Z方向。这样做的方式使得它更加的直观,快和准确。

这篇文章具体的细节还是有很多不懂的地方,我还会细致的去看各个方法是怎么实现的。

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth,布布扣,bubuko.com

时间: 2024-10-13 17:10:48

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth的相关文章

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth(三)Cost Function

iker原创.转载请标明出处:http://blog.csdn.net/ikerpeng/article/details/39050619 Realtime and Robust Hand Tracking from Depth中的Cost Function 学习 首先,我们应该知道,输入的数据是什么:3D 点云数据. 3D点云给我的感觉应该是这种 输出的是:拟合好的手模型(48球体模型). 而这里的的3D 点云数据用p表示,每个球体用Sx 表示. Ci 第i个球体的中心:D表示深度图( 区分还

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth(二)

论文细节 手势识别或者说手的跟踪在人机交互中非常重要,已经有几十年的研究.但是它存在的难点还是很多的:手的动作是由很多的复杂的手指的活动构成的,同时,在可变的大视角下面的快速移动. 目前做出来比较好的效果的做法有几种,一种使用了非常复杂的网格模型(mesh model,具体不知道是怎么做的),但局限性在于它的局部最优的方法速度也很差:另一种则是采用多边形模型(polygonal model),可以达到实时的效果,但是需要GPU来处理. 以上提到的方法局部最优的方法,也就说一旦找到一个局部最优值的

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth(四)Hand Initialization

论文阅读原创,转载请标明出处:http://blog.csdn.net/ikerpeng/article/details/39251373 在多次的阅读这篇论文以后才明白文章的结构为什么这样安排:将Hand Initialization这部分放在文章的所有的优化算法的最后,说明整个算法即便是不要这一部分的优化也是可以的.我们从文章中的Table 2可以看到,不使用Hand Initialization得到的结果比使用到Initialization的结果差2mm.若是你对于最终的结果要求不是很高的

手势跟踪论文学习:Realtime and Robust Hand Tracking from Depth(五)Hand Initialization 2

论文阅读原创,转载标明出处: 回顾: 上一节我们说到了,作者通过自己定义的X-Y Finger和 Z-Finger来进行手指的检测,然后来初始化Hand Pose.其实勒,手指经常都会死斜着的.也就是说不会是标准的X-Y Finger和或者Z-Finger.那作者是如何的处理的勒? 手指的检测: 对于手指的检测,先进行X-Y Finger的检测.然后分割出去:再进行Z-Finger的检测.但是如果再进行Z-Finger的检测的时候,触及到X-Y Finger的分割区域以后就停止,不再检测了. 为

【论文学习记录】PTAM:Parallel Tracking and Mapping for Small AR Workspaces

论文地址:链接: http://pan.baidu.com/s/1kTAcP8r 密码: djm4 这是一篇可手持单目相机进行定位与制图方法的文章.它与传统slam的方法不一致的地方在于将定位跟踪与制图分离出了两个单独过程. 双线程机制: 一个线程用于鲁棒跟踪手持相机运动,另一个线程用于从之前观测到的视频帧中产生三维地图点特征 .  系统允许batch techniques复杂的计算,但不在实时操作下.. 这篇文章的研究目的是:  不需要任何模板与初始目标,跟踪校正的手持相机,并且绘制环境地图.

学习OpenCV——hand tracking手势跟踪

这几日,岛上风云突变,我这个倒霉孩子终究木有躲过感冒的魔掌,中枪鸟~~~ 这几天只写了个简单的手势跟踪的代码. 原理是:背景差分+肤色检测. 背景差分:取前30帧图像取平均值,计算前30帧之差的和,再求均值.在背景平均值上下浮动的阈值之外的被检测出来. 肤色检测:利用YCrCb空间. 两个结果相与操作. 这种方式的优点:1.有效解决了肤色检测结果中总是检测到人脸的情况: 2.解决背景差分检测结果杂乱的情况: 缺点:背景要求相对稳定,反差越大越好,鲁棒性差. 注意事项:差分法由于涉及到累加图像,编

【 论文学习记录】A flexible and scalable slam system with full 3d motion estimation 一种灵活可扩展带有3D运动估计的slam系统

A flexible and scalable slam system with full 3d motion estimation   论文学习记录 这篇论文系统框架,栅格多阈值,更新同步与伪数据,扫描匹配起始点,协方差交叉融合的思想还是值得借鉴的. 摘要 关注于搜救机器人建图定位与导航的框架性文章. 低计算资源的在线快速获取栅格地图: 结合鲁棒的激光扫描匹配方法和惯性传感器姿态估计系统. 快速地图梯度近似与多分辨率(类似图像金字塔)栅格地图,精确而不需要闭环检测. 介绍 2D slam 子系

基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统)

转自网络:http://blog.csdn.net/zouxy09/article/details/17913745 基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统) [email protected] http://blog.csdn.net/zouxy09 一年多前开始接触计算机视觉这个领域的时候,年幼无知,倍感吃力.当年惶恐,从而盲从.挣扎了不少时日,感觉自己好像还是处于领域的门外汉一样,在理论与实践的鸿沟中无法挣脱,心里空落落的.在这种挥之不去的烦忧中,某个时候豁然开朗,觉

【论文学习9】Prio: Private, Robust, and Scalable Computation of Aggregate Statistics

abstract 本论文提出了一种用于收集统计信息的隐私保护系统Prio.每个客户机有私有数据值,一小部分服务器对所有客户端的值计算统计函数.只要有一台服务器是诚实的,Prio服务器就不会了解到用户的信息,除了他们可以从系统计算推断出聚合数值.采用新的加密技术SNIPs,使之能够收集大量有用的统计数据. Contributions 引入secret-shared non-interactive proofs (SNIPs),一种新的信息论零知识证明,对客户/服务器进行了优化. 展示了affine