【手势交互】5. Kinect for Xbox One

Kinect for XBox One是Kinect for XBox的升级版,这里称他为Kinect2 (也有叫它Kinect 720, Kinect One)。Kinect2于2013年中和Xbox One一起配套发售(Kinect1于2010年11月在美国上市,建议售价149美金)。2014年9月开始可以单独购买Kinect2,目前售价149.99美金。

Kinect for XBox One

相比Kinect1,Kinect2的变化主要有以下几个方面:

1. 深度图获取方式的变化

当年Kinect1出人意外的采用了Prime Sense公司的Light Coding技术来作为深度图获取方式。在Kinect2中微软采用了精度、灵敏度和分辨率都更高的TOF技术来获取深度图。TOF(Time of Flight)就是去计算光线飞行的时间。首先让装置发出脉冲光,并且在发射处接收目标物的反射光,藉由测量时间差算出目标物的距离,其原理和红外测距仪一样。只是光速太快,如果真的去测量飞行时间几乎是不可能的事情,Kinect2中TOF实现的方式是发射一个强度随时间周期变化的正弦信号,通过获得发射、接受信号的强度差及相位差来计算距离。其实在整个视场中,只要分辨出各个物体的深度关系就可以,并不要计算出每个像素离摄像头的精确位置,因此量化并归一后的深度图数据的单位并不是米、毫米之类的量纲。返回信号强度的变化,可以计算出经过了多少个波长周期,相位的差异可以得到在最后一个周期内的差异,累加在一起就是精确的距离表征值。

2010年的Light Coding技术在性能和成本上是比较好的平衡,但它最大的缺点在于精度很难提高。这是因为计算斑点位移需要用图像在一个小范围区域内的来做块匹配,导致牺牲了像素级别的细节。凸凹不平的表面、物体边缘、很细的物体很难检测准确的深度(例如在Kinect1中水杯的把手很难识别,人脸也很容易蜕化成一个球状物体,圆形的东西边缘也不够圆滑)。TOF在一定程度上可以做到逐个像素的计算,从而摆脱这个问题,在相同的传感器分辨率的情况下得到更高的精度。Kinect2的深度图格式为512 [email protected],和一代类似,每像素16比特,13比特表示深度,3比特是用户ID。TOF的技术原理使得Kinect2的深度图相对于Kinect1噪声降低,能识别更多小物体,能区分远近距离更小的不同物体,物体边缘的深度识别更平滑。Kinect2的精度号称比Kinect1高3倍。

微软2009年收购的3DV Systems公司具有10多年TOF成像技术积累,拥有大量的专利技术,Kinect2中采用TOF技术也不难理解,但是不确定微软采用了什么样的新技术,降低TOF深度摄像头的成本,使它能够适合于消费类电子产品。

2. 处理核性能增强

Kinect1采用Prime Sense公司的PS1080作为处理核心,PS1080的处理速度只能支持到[email protected],而Kinect2的每秒数据处理量可达2GB。处理能力的增强也让Kinect2可以使用更大分辨率的深度图。Kinect2采用USB3.0来做数据到主机之间的传输,一代用的是USB2.0。

3. 彩色摄像头分辨率增加

Kinect2的彩色摄像头分辨率增加到1920x1080x16bpp 16:9 [email protected],相对于一代的640x480x32bpp 4:3 [email protected]有很大的提升。更高分辨率的彩色图像让Kinect2可以更加准确的人脸识别,甚至脸部表情也可以识别到。Kinect2支持Skype这样的视频通话,1080p的质量可以让视频通话类的服务质量得到提升。Kinect2还提供了512x424 11比特动态范围的红外视频流,主动红外线视频流能提供不受照明限制的处理和特征识别,降低了对使用者操作环境的要求,使人们可以在不必有特别光线照明的情况下使用设备,大大解放了对场地的要求。

Kinect2有两个摄像头,一个1080P彩色摄像头,一个TOF深度摄像头。在外观上Kinect for XBox One只能在设备左侧看到一个摄像头,它来自于台湾正崴科技(Foxlink)的1080P彩色摄像头。而TOF摄像头以及激光发射设备都隐藏在前置盖下面,他的设备编号是S/N: S1337573123,P/N: X861135-001,A/N: 1337-MS2802-09,目前不知道是哪家的产品。有关这部分各种拆解报告说的都不是很清楚,有待以后完善。

4. 更宽的视角

Kinect2的水平、垂直视角分别升级到70°、60°,相应的Kinect1是57°和43°。由于视角的增加,Kinect2取消了Kinect1的自动追焦马达,二代不会左右旋转。一代中的马达系统机械结构比较脆弱,容易损坏,这也可能是二代中取消它的一个原因。还有多用户时候,自动追焦的判断将更加困难。更宽的视角是采用更广的镜头来达到的,Kinect2的镜头比一代的大。Kinect2的最佳视距为0.4米-4.5米,在较近处还可以有很好的深度识别效果。

5. 提升的骨骼追踪算法

在骨骼追踪算法上提升很多,例如:能探测手部状态(握紧或者张开);可以支持探测更多的关节,以及某些关节的旋转;可以最多跟踪6个玩家,每个玩家骨架由25各关节组成(一代是20个关节);可以探测被遮挡的关节(例如被手挡住的肘部等);可以支持侧面姿势的探测。跟踪的姿势更为精确和稳定,优化了很多场景功能:包括更稳定的姿势、更准确的姿势评估、更加简捷地交互、更多的与旁观者互动场景。

6. 延迟的优化

Kinect1是一款具有革命性的产品,但他也有很多缺点,用户对于Kinect1抱怨最多的是延迟。通过更快速的核芯片以及USB3.0使Kinect2的延迟降低到66毫秒。

Kinect2还在其他方面,例如外观、语音识别方面的改进,本文暂不关注。

基于Kinect2全世界的研发团队做了很多有趣的实现,其中微软研究院的Handpose是较为精彩的一个项目。Kinect最开始的时候很擅于探测身体动作,包括头部、腿部和手臂的活动轨迹,但是在辨识手势时表现一般,只能大概了解手掌和手腕在哪里,当用户做出简单的手势,比如赞成或反对的动作,它不能将其区分开来。如果能够实时准确地跟踪用户的双手位置,包括每个指关节的角度,那么,就可以灵活的操纵电脑上的虚拟手,做出和人类同步精准的相同动作。

Kinect2 Handpose项目

Handpose项目就是基于这样的目的来设计的,它大幅提升了Kinect2手势追踪的精度。要想识别手部动作,运动追踪系统需要监测手上30个数据点(手部关节点)。看起来不多,但是这些点的组合却有万亿种。同时,在特定的手势中,有些手指会隐藏起来,无法被传感器识别到。因此,即使是不精确的手势识别,也是非常困难的事情。Handpose的算法大大提升了计算机对手势的识别能力,经过大量数据的统计,把万亿种的组合猜测降低为200种最有可能的猜测,这将算法的速度提升了很多。Handpose仍然需要完善,它将会改变我们与计算机、虚拟现实、电视机等的交互方式。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-08-29 16:20:35

【手势交互】5. Kinect for Xbox One的相关文章

【手势交互】4. Kinect for XBox

"You are the Controller",Kinect for Xbox的广告词,明确说明了Kinect体感的交互方式.作为一款集成了诸多先进视觉技术的自然交互设备,Kinect在学术和游戏业界均享有很高的关注度.此外,Kinect硬件的研发与生产综合了声.光.电和机械学等多方面的技术,其主要零部件近百个,是目前市场上大批量生产中的最为复杂的电子消费产品. Kinect 的关键技术有四点:骨骼跟踪.动作识别.人脸识别.语音识别.本文关注的是基于前两者,骨骼跟踪和动作识别,这是K

基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统)

转自网络:http://blog.csdn.net/zouxy09/article/details/17913745 基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统) [email protected] http://blog.csdn.net/zouxy09 一年多前开始接触计算机视觉这个领域的时候,年幼无知,倍感吃力.当年惶恐,从而盲从.挣扎了不少时日,感觉自己好像还是处于领域的门外汉一样,在理论与实践的鸿沟中无法挣脱,心里空落落的.在这种挥之不去的烦忧中,某个时候豁然开朗,觉

Kinect for Xbox one(v2) + Ubuntu 14.04 +ROS

相比于kinect for xbox 360(v1)通过结构光来获取深度,Kinect for Xbox one(v2) 采用time flight技术,极大改善了深度图像的性能.kinect for xbox 360(v1)提供的原始图彩色图像是640×480,深度图是320×240,在ubuntu下,只需要安装openni即可获的registered的彩色图和深度图.而kinect for xbox one(v2)原始彩色图像是1920×1080,深度图像是512×424.目前在ubuntu

Android研究之手势交互实例实现详解

 先来几张效果图: 一.没有抛掷: 二.向右抛掷一次 三.向右再抛掷一次 接下来说说Android开发中对于手势动作的识别参考资料... 首先,在Android系统中,每一次手势交互都会依照以下顺序执行. 1. 接触接触屏一刹那,触发一个MotionEvent事件. 2. 该事件被OnTouchListener监听,在其onTouch()方法里获得该MotionEvent对象. 3. 通过GestureDetector(手势识别器)转发次MotionEvent对象至OnGestureList

【手势交互】8. Nimble Sense

早在2012.2013年度,手势识别领域就发生了几起重要的行业并购.比如英特尔对Omek的收购,谷歌对Flutter的收购,而苹果公司更是以3.45亿美金得高价收购了之前为微软Kinect提供技术支持的以色列公司Prime Sense.手势识别,早已成为了各大巨头角逐未来的战场.因为巨头们正逐渐看清(手势识别)体感技术对传统操作方式的重要改变. 虚拟现实会是下一代人机交互界面,Oculus已经在显示输出这一端做出表率,而且表现不错.但是在输入端,也就是人该如何在虚拟现实中发出指令和进行操作,依然

【手势交互】3. Leap Motion

美国 http://www.leapmotion.com/ Leap Motion是一种3D动作控制系统,其创始人在读书期间发现传统的鼠标对于3D软件的控制极为不方便,因此迸发出要设计一套全新的动作控制系统来自由的控制电脑软件.2012年5月,Leap Motion推出的3D动作控制系统完全突破了以前3D控制的概念,为未来的3D交互打开了无限的想象空间,可以在电脑里进行3D手绘.三维模型设计.游戏控制等.这个被称作Leap的技术能让人通过手指直接控制电脑,包括图片缩放.移动.旋转.指令操作.精准

【手势交互】1.前言

人与人之间的交互方式主要有语音(包括面谈和电话谈或者视频语音谈),文字(在双方异地或者双方语音沟通有障碍或者需要正式的文本背书的情况下选择文字),手势(握手.敬礼.推搡等肢体语言也是表现一个人内心想法的途径). 人与机器之间的交互要远滞后与人人交互的方式,最传统的方式是键盘鼠标,键盘就类似与文字交流,将确认无误的信息以文本的形式输入机器,让它理解人的意图.鼠标的发明是一项创举,它大大简化了计算机的操作方式(鼠标的发明人恩格尔巴特恐怕早已被人遗忘),成了计算机的标准交互方式,无数的软件游戏,都是基

【手势交互】9. PS Move

索尼研发体感控制技术已有10年,在过去那么多年里,尝试了3D摄像头.超声波和电磁感应等各种技术,最后还是认为目前的MOVE所使用的技术最为合适.PS Move是索尼于2010年9月份推出,用来让PS3主机具备动态感应功能的控制器.他利用动态控制器(手柄)和PS Eye摄像头,来捕捉玩家的动作,带给玩家全新的游戏操作模式. 主手柄(动态控制器) 副手柄(导航控制器) PS Eye摄像头 一套PS Move控制器由三部分组成:主手柄.副手柄.摄像头.主手柄(动态控制器)通过陀螺仪.加速度感应器和地磁

【手势交互】6. 微动VID

中国 天津 http://www.sharpnow.com/ 微动VID是天津锋时互动科技有限公司开发的中国Leap Motion. 它能够识别并跟踪用户手部的姿态.包含:指尖和掌心的三维空间位置:手指和手掌的三维空间朝向. 通过识别设备上空椎状空间的Air Mode模式和识别设备前方扇形区域Touch Mode模式,用户能够更完美的实现人机交互. 微动使用两个低成本的摄像头来实现左右目图像採集,与Leap Motion的双红外摄像头略有不同.微动的外置设备里面有独立的运算能力,这和Leap M