【手势交互】8. Nimble Sense

早在2012、2013年度,手势识别领域就发生了几起重要的行业并购。比如英特尔对Omek的收购,谷歌对Flutter的收购,而苹果公司更是以3.45亿美金得高价收购了之前为微软Kinect提供技术支持的以色列公司Prime Sense。手势识别,早已成为了各大巨头角逐未来的战场。因为巨头们正逐渐看清(手势识别)体感技术对传统操作方式的重要改变。

虚拟现实会是下一代人机交互界面,Oculus已经在显示输出这一端做出表率,而且表现不错。但是在输入端,也就是人该如何在虚拟现实中发出指令和进行操作,依然处于群雄逐鹿的状态,声控、眼动、操作杆、手势识别等各种方法,谁也不敢说自己是主导。

2014年低Oculus收购NimbleVR,标志着手势识别目前基本已经胜出。相比其他方式,手势识别有这么几个优势:学习成本低,人类从一出生就在学习用手交互;灵活性高;实用性强,基于手势识别的交互方式已经有基本能用的产品。

手势识别也有自己的不足,比如操作时间长了手臂会累,两手交叠时会有识别不准的问题,但是综合来看,现阶段可能是最适合的方法了,其他几种可能会作为辅助输入方式,比如眼动和声控,在某些专业竞技领域,操作杆也可能会成为主导输入方式。

Nimble VR是一家成立于2012年的手势识别技术公司,创始人Robert2011年从MIT的计算机系博士毕业,专攻手势识别,被收购时公司也只有4名员工。Nimble VR研究运动追踪照相机系统和能够监测和分析身体骨骼结构的算法。借用自己的游戏经历,他们研制出了能追踪关节角度和关节位置的软件,从而制造出了真实的虚拟现实手臂。但他们找不到一款灵敏度高到足以挑选出这些关节数据的摄像机。包括微软公司的Kinect在内,都主要用于探测大型目标,而不是细微的手部运动。因此,该研究团队设计出了自己专用的体感深度传感器Nimble Sense。

Nimble Sense

Nimble Sense登陆Kickstarter,众筹还没结束,就被Oculus看中。Nimble Sense的最大特色在于可以将识别到各种手势完美地同步到VR游戏或软件之中,让用户在虚拟现实世界也可以感受到双手的存在,而且这一过程并不需要借助任何穿戴在手上的硬件产品。

Nimble Sense采用TOF深度摄像头,帧率为45fps,捕捉红外激光发射器空间内的反射密集三维点云。真实世界的三维点云被渲染在正确的位置和角度,点云甚至可以被渲染到其他玩家的虚拟视场里面,这样在多人、社交类的应用中,可以在不同视点间互相共享点云。如果采用双目摄像头的手势识别方式,只能得到依赖于特定瞳距特定视点的两幅红外图像,不能共享给其他视点的用户使用。

Nimble Sense 的TOF摄像头可捕捉用户眼前 110 度的范围(这比 Oculus 的可见角度还高出 10 度),纵深范围为 10-70cm,意味着只要能够看到双手,它即可显示在虚拟现实世界之中,更可以与虚拟现实世界中的所有物体进行精准的交互。Nimble Sense在设备精度、成本、功耗三方面平衡方面有突破性进展,给用户带来实惠的TOF深度摄像头,Nimble Sense在Kickstarter的众筹价格为99美元。

Nimble Sense非常小,可以安装在Oculus虚拟现实头盔的上方。它会监测用户的手部运动,软件随后会采用数学方法模拟每个手势。Nimble Sense安装在DK2的时候会遮挡住两个LED灯,这些灯是为了DK2位置跟踪用的,但不影响跟踪的性能, 安装leap motion的时候也有这个问题。相比Leap Motion,Nimble Sense 明显识别率更高,更加灵敏。

Nimble Sense使用PMD传感芯片,并与PMD在软硬件上紧密合作。和Camboard不同的是Nimble Sense的光学系统是针对VR系统专门优化过的,以完成宽视角、长距离、高精度的手部跟踪。

版权声明:本文为博主原创文章,未经博主允许不得转载。

时间: 2024-08-04 18:32:34

【手势交互】8. Nimble Sense的相关文章

基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统)

转自网络:http://blog.csdn.net/zouxy09/article/details/17913745 基于meanshift的手势跟踪与电脑鼠标控制(手势交互系统) [email protected] http://blog.csdn.net/zouxy09 一年多前开始接触计算机视觉这个领域的时候,年幼无知,倍感吃力.当年惶恐,从而盲从.挣扎了不少时日,感觉自己好像还是处于领域的门外汉一样,在理论与实践的鸿沟中无法挣脱,心里空落落的.在这种挥之不去的烦忧中,某个时候豁然开朗,觉

Android研究之手势交互实例实现详解

 先来几张效果图: 一.没有抛掷: 二.向右抛掷一次 三.向右再抛掷一次 接下来说说Android开发中对于手势动作的识别参考资料... 首先,在Android系统中,每一次手势交互都会依照以下顺序执行. 1. 接触接触屏一刹那,触发一个MotionEvent事件. 2. 该事件被OnTouchListener监听,在其onTouch()方法里获得该MotionEvent对象. 3. 通过GestureDetector(手势识别器)转发次MotionEvent对象至OnGestureList

【手势交互】5. Kinect for Xbox One

Kinect for XBox One是Kinect for XBox的升级版,这里称他为Kinect2 (也有叫它Kinect 720, Kinect One).Kinect2于2013年中和Xbox One一起配套发售(Kinect1于2010年11月在美国上市,建议售价149美金).2014年9月开始可以单独购买Kinect2,目前售价149.99美金. Kinect for XBox One 相比Kinect1,Kinect2的变化主要有以下几个方面: 1. 深度图获取方式的变化 当年K

【手势交互】4. Kinect for XBox

"You are the Controller",Kinect for Xbox的广告词,明确说明了Kinect体感的交互方式.作为一款集成了诸多先进视觉技术的自然交互设备,Kinect在学术和游戏业界均享有很高的关注度.此外,Kinect硬件的研发与生产综合了声.光.电和机械学等多方面的技术,其主要零部件近百个,是目前市场上大批量生产中的最为复杂的电子消费产品. Kinect 的关键技术有四点:骨骼跟踪.动作识别.人脸识别.语音识别.本文关注的是基于前两者,骨骼跟踪和动作识别,这是K

【手势交互】3. Leap Motion

美国 http://www.leapmotion.com/ Leap Motion是一种3D动作控制系统,其创始人在读书期间发现传统的鼠标对于3D软件的控制极为不方便,因此迸发出要设计一套全新的动作控制系统来自由的控制电脑软件.2012年5月,Leap Motion推出的3D动作控制系统完全突破了以前3D控制的概念,为未来的3D交互打开了无限的想象空间,可以在电脑里进行3D手绘.三维模型设计.游戏控制等.这个被称作Leap的技术能让人通过手指直接控制电脑,包括图片缩放.移动.旋转.指令操作.精准

【手势交互】1.前言

人与人之间的交互方式主要有语音(包括面谈和电话谈或者视频语音谈),文字(在双方异地或者双方语音沟通有障碍或者需要正式的文本背书的情况下选择文字),手势(握手.敬礼.推搡等肢体语言也是表现一个人内心想法的途径). 人与机器之间的交互要远滞后与人人交互的方式,最传统的方式是键盘鼠标,键盘就类似与文字交流,将确认无误的信息以文本的形式输入机器,让它理解人的意图.鼠标的发明是一项创举,它大大简化了计算机的操作方式(鼠标的发明人恩格尔巴特恐怕早已被人遗忘),成了计算机的标准交互方式,无数的软件游戏,都是基

【手势交互】6. 微动VID

中国 天津 http://www.sharpnow.com/ 微动VID是天津锋时互动科技有限公司开发的中国Leap Motion. 它能够识别并跟踪用户手部的姿态.包含:指尖和掌心的三维空间位置:手指和手掌的三维空间朝向. 通过识别设备上空椎状空间的Air Mode模式和识别设备前方扇形区域Touch Mode模式,用户能够更完美的实现人机交互. 微动使用两个低成本的摄像头来实现左右目图像採集,与Leap Motion的双红外摄像头略有不同.微动的外置设备里面有独立的运算能力,这和Leap M

【手势交互】10. Wii Remote

Wii Remote(昵称:Wiimote.Wii遥控器)是任天堂游戏主机Wii的主要控制器.2005年9月在东京电玩展上发布,Wii Remote的主要特色是动作侦测,玩者可以透过移动和指向来与电视荧幕上的虚拟物件产生互动.由于其独特的功能以及与传统游戏控制器有很大的不同,Wii Remote在公开后受到许多关注. Wiimote外形如传统的电视遥控器,可单手操作,内置CMOS感光摄像头,三轴加速度传感器,蓝牙通信模块以及震动传感器和扬声器,后两者是为了增加游戏的浸入感. Wiimote内部结

【手势交互】9. PS Move

索尼研发体感控制技术已有10年,在过去那么多年里,尝试了3D摄像头.超声波和电磁感应等各种技术,最后还是认为目前的MOVE所使用的技术最为合适.PS Move是索尼于2010年9月份推出,用来让PS3主机具备动态感应功能的控制器.他利用动态控制器(手柄)和PS Eye摄像头,来捕捉玩家的动作,带给玩家全新的游戏操作模式. 主手柄(动态控制器) 副手柄(导航控制器) PS Eye摄像头 一套PS Move控制器由三部分组成:主手柄.副手柄.摄像头.主手柄(动态控制器)通过陀螺仪.加速度感应器和地磁