破译手势在对话中的意义

编者按:在人与人的交谈中,除了语言上的你来我往,我们还会有意无意地用到我们的双手,做出各种手势。行为科学家对手势之于对话的意义感到好奇,而Kinect for Windows传感器则让这项研究变得容易。台湾清华大学的研究者和微软亚洲研究院合作,最终得出了有趣的实验结果。

文章译自:Kinect for Windows helps decode the role of hand gestures during conversations

我们都知道除了语言外,人类还有很多其他的交流方式——例如生气的一瞥或是勉强地点头。但除了这些明显的肢体语言,我们在交流中还频繁地使用我们的双手。对话中的手势虽然无处不在,但分析它仍然很难。我们很难得知,这些伴随着谈话的自发的手部动作是否、以及如何塑造沟通的过程和结果。行为科学家想了解这些非语言交际行为的作用。基于这个情况,技术开发者也同样渴望建立一个帮助人们更为顺畅地交流、理解信息的工具。

为了破解和他人说话时发言者双手动作的潜在含义,研究人员需要以高效且经济的方式追踪分析手部的动作路径。台湾清华大学的王浩全教授和他的团队意识到他们可以通过使用Kinect for Windows传感器去捕捉记录面对面交流过程中的手势和语音,从而解决这个问题。

“我们之所以想用Kinect,是因为它是市面上最流行和实用的运动传感器。这种普及度可以增加我们研究方法的潜在影响力。”王教授解释道。“其他研究人员能够比较容易地沿用我们的研究方法,或是重复我们的研究。Kinect的使用也让大型行为学研究成为可能,只要用户使用Kinect,我们就能远程收集他的行为数据。此外Kinect的软件开发工具包也易于使用。”

基于Kinect for Windows的诸多优势,王教授与微软亚洲研究院合作,使用Kinect for Windows在对话中捕捉观察对象的手部动作。“我知道微软研究院在应用Kinect进行一些先进的研究,因此我们和微软的研究人员进行了愉快的合作,来为学术界和社会提供有趣的研究成果。”

在接下来的合作研究中,团队在两位对话者中间背靠背地放置了两个Kinect传感器来记录谈话过程。传感器同时捕捉到两个对话者的语言和手部活动,从而提供一份交流双方的言语信息和手部运动轨迹的带时间标记的记录。

试验中Kinect for Windows传感器位置示意图

为了展现研究方法的有效性,研究者将面对面交谈、视频聊天和音频聊天三种情况下的手部动作的数量和相似度做了对比。两个参与者在面对面交谈和视频聊天中可以看到彼此,但在音频聊天中他们看不到彼此。

研究人员由此发现了一些意想不到的结果。“第一,也许和直觉相悖,实际上人们在音频、面对面和视频聊天中的手势是一样多的。这表明人们之所以做出手势不是为了别人,而是为了自己,尽管对方看不到自己,但仍然会做出手势,”王教授说。

图表显示在语音聊天时,人们做出手势的几率几乎和面对面及视频交流时一样多。这显示了手势更多是为了自己,而不是为了让对方更好地理解。

研究者还考察了对话的参与者对整个交流的理解与使用手势的数量之间的关系。出人意料的是,他们发现参与者的理解水平和他的对话者使用的手势数量之间并无相关性。相反,研究者发现,参与者对对话的理解程度与其自身的手势数量相关。这从另一个角度证明,手部动作并不是为了产生和传递信息,而是反映了说话人在内容理解上的自我强化和自我认同。

图表显示手势和做手势者自己对谈话的理解程度的关系,反映出手势的实际作用是自我强化。

无论从理论到实际,Kinect传感器都有着广泛的潜在应用(例如,当人们在交流时,我们是否可以用Skype来捕捉他们的手势动作)。此外,研究人员终于可以突破以往的速度和规模限制来设计他们的实验了。

“在进行跨学科的研究时,Kinect操作简单、有效,因而降低了研究成本——不需要把时间浪费在一些技术问题上,而能专注解决研究问题。”国立清华大学王教授谈道。

今年4月在加拿大多伦多举办了CHI 2014——主题为“计算系统中的人为因素”的ACM SIGCHI会议(the ACM SIGCHI Conference on Human Factors in Computing Systems)。会上发表了王教授与微软亚洲研究院这一合作项目的论文全文

“与微软亚洲研究院合作十分愉快。在感兴趣的课题上我得到了很大的支持和自由。这使协作变得真正独特并具有价值,”王教授说,“我希望与微软的研究人员们有更为密切的合作,同时扩大当前的工作。能加强对一些非常规交流的理解,如跨文化、跨语言交流、师生授课等。因为基于语言的沟通在这些情况下经常效果不好,非语言部分也许会让交流变得更加有效。对过程的更深层的理解可以让技术设计更好地支持这些情况。”

____________________________________________________________________________________ 

相关阅读

视频:Opening new doors of communication for sign language users

用Kinect为听障人士架一座沟通的桥梁

Kinect for Windows官网

欢迎关注

微软亚洲研究院人人网主页:http://page.renren.com/600674137

微软亚洲研究院微博http://t.sina.com.cn/msra

http://blog.sina.com.cn/s/blog_4caedc7a0102uymf.html

时间: 2024-11-05 14:56:21

破译手势在对话中的意义的相关文章

谁人能理解这三句对话中的心酸啊?!

问一神棍:“我什么时候才能不做程序猿?” 神棍掐指一算,答:”等你躺进棺材的时候.“ 我一把拉住神棍的双手,内牛满面的说:“大哥,谢谢噢,想不到我还能躺在棺材里,谢谢噢.” 这三句纯粹是我个人胡扯,不过说的也是真心话.别看貌似很搞笑,其实内里有很多心酸故事. 程序员?美其名曰软件工程师,其实腻,天朝下的程序员,小部分可称为码农(相对来说有点技术含量的),大部分可称为代码搬运工(每天就是 ctl+c / ctl+v  含金量几乎为0),只有大海捞针数量级的码神存在. 所以,福利待遇,薪金制度比“机

浅谈加速因子在策略中的意义

他站链接:浅谈加速因子在策略中的意义 NO:01没有完美的交易系统,但是却有完美的交易哲学.交易哲学.交易策略和资金管理三者缺一不可,才能构成正期望的交易系统.投机依赖价格的移动获得盈利(低买高卖或高买更高卖).在上升或下降趋势中,价格虽然在整体上朝着一个方向移动,但中间也会有短暂的反方向移动.而在横盘过程中,价格的移动方向则显得相对"随机"一些. NO:02关于价格的移动,可以类比物理学中的运动.其中包括:位移距离.时间.速度等.价格的位移相对于时间的比率就是价格的速度.除了速度之外

“全栈2019”Java第十六章:下划线在数字中的意义

难度 初级 学习时间 10分钟 适合人群 零基础 开发语言 Java 开发环境 JDK v11 IntelliJ IDEA v2018.3 文章原文链接 "全栈2019"Java第十六章:下划线在数字中的意义 下一章 "全栈2019"Java第十七章:赋值运算符和算术运算符 学习小组 加入同步学习小组,共同交流与进步. 方式一:关注头条号Gorhaf,私信"Java学习小组". 方式二:关注公众号Gorhaf,回复"Java学习小组&q

解决右滑返回手势和UIScrollView中的手势冲突

项目中遇到一个页面中是以一个scrollview横向Tab展示两个不同功能的显示,譬如消息和公告功能,但是由于滑动返回手势和scrollview的滑动返回手势冲突了,导致页面不再能够滑动返回.类似的还有图片浏览功能也出现过. iOS系统中,滑动返回手势,其实是一个UIPanGestureRecognizer,系统默认的操作是只有滑动屏幕的左边的某个位置,UIPanGestureRecognizer才会起作用.UIScrollView的滑动手势也是UIPanGestureRecognizer.那在

【iOS开发-手势】iOS中各种手势总结

iOS中支持的手势事件 UITapGestureRecognizer(敲击) UIPinchGestureRecognizer(捏合,用于缩放) UIPanGestureRecognizer(拖拽) UISwipeGestureRecognizer(轻扫) UIRotationGestureRecognizer(旋转) UILongPressGestureRecognizer(长按) UITapGestureRecognizer(敲击) //创建UITapGestureRecognizer对象,

逆向微创新在小创团队中的意义

创业团队初期,规则小,对开发人员的能力需求其实很苛刻.然而,能够建立团队的人员无非来自两个方面,要么是新手或其它公司能力稍欠缺的,要么是大公司挖来的(还有一定低几率的野生大神). 而无论是哪种人员构成,按他们的经验,在面对早期项目开发时,为了快速验证主流程,架构设计特别是组件的技术选型无疑都是采纳熟悉的.主流的.通用的框架.随着功能需求的丰富,就会发现这种通用越来越不能适应业务的变化了,项目的架构反而受到厚重组件的制约?: 1.组件的通用特性几乎用不到,试想对于早期产品来说,比如使用ORM是为了

小讲堂:在线编辑在Mobox文档管理软件中的意义

今天我们来讨论一下,mobox文档管理软件中的在线编辑的这个功能,相信这个功能是用户在日常的文档维护中非常需要的. 文档管理软件的诸多功能中,在线编辑是一块很重要的功能点,因为在线编辑可以说是提高工作效率的最主要的功能点,没有之一. 很多文档是需要及时更新,做内容的增加或者删减,如果下载修改再上传,这是一个很繁琐的过程.所以在线编辑是一个非常必要的提高工作效率的功能. Mobox文档管理软件的在线编辑分为三个部分:个人网盘,协同区,单位部门文档柜. 在个人网盘中,选择文件双击,则该文件下载并被打

js 中//<![CDATA[ 意义

CDATA内部所有东西都会被解析器忽略,加入文本中包含了大量< 和 $符号,就像编程中经常出现的情况一样,那么这个元素就可以被定义为一个CDATA部分 ,CDATA 区段开始于 "<![CDATA[",结束于 "]]>": 为何用这个? XHTML第二个改变是使用CDATA段,XML中的CDATA段用于声明不应被解析为标签的文本(XHTML也是如此),这样就可以使用特殊字符,如小于(<).大于(>).和号(&)和双引号(&quo

谈谈service层在mvc框架中的意义和职责

mvc框架由model,view,controller组成,执行流程一般是:在controller访问model获取数据,通过view渲染页面. mvc模式是web开发中的基础模式,采用的是分层设计,各层之间职责分明.然而事与愿违,当我们日积月累的基于mvc模式开发之后,会逐渐的感受到层与层之间存在粘连和职责模棱两可的地方,这就是service层出现的重要原因. 问题是什么 要提出解决方案,重要的是发现问题的本质.mvc模式在实践过程中,主要面临下面几个难受的问题: 在C层直接实现业务逻辑,这将