iOS10 SiriKit QQ适配详解

原文连接

1. 概述

苹果在 iOS10 开放了 SiriKit 接口给第三方应用。目前,QQ已经率先适配了 Siri 的发消息和打电话功能。这意味着在 iOS10 中你可以直接告诉 Siri 让它帮你发QQ消息和打QQ电话了,听起来是不是很酷炫?

那么第三方应用使用 Siri 的体验究竟如何?哪些应用可以接入SiriKit?接入 SiriKit 又需要做哪些工作呢?这篇文章会为你一一解答这些疑惑。


图1 用Siri发QQ消息效果展示

2. SiriKit 简介

我们都知道 Siri 是 iphone 手机中的智能语音助手,那么什么是 SiriKit 呢?SiriKit 是苹果为第三方应用支持 Siri 提供的开发框架。在官方文档中,SiriKit 将对不同场景的语音支持划分为不同的 domain,目前,SiriKit 支持的 domain 包括:VoIP 电话、发消息、转账、图片搜索、网约车订车、CarPlay 和餐厅预定,也就是说如果你的应用中包含有这些功能之一,就可以考虑将这些功能接入到 SiriKit 中啦。

实现 SiriKit 相关功能时,我们并不需要真正对语音进行识别,语音的识别工作会由 Siri 完成。Siri 识别完语音后,会将语音要完成的功能抽象成 Intent 对象传递给我们,而我们的接入工作主要是与这些 Intent 对象打交道,并不会涉及到自然语言处理(NLP)的技术。

关于 SiriKit 的开发网上已有一些文章,也可参考苹果的官方文档 SiriKit Programming Guide,本文着重介绍QQ的适配经验。


图2 SiriKit原理

3. SiriKit 接入

要实现 SiriKit 的功能需要在 Xcode 工程中添加 Intents Extension 的 target,和其他 extension一样, Intents Extension 是一个独立于 Containing App 进程运行的插件,主要用于处理和确认来自 Siri 的 intent 请求。如果想让 Siri 在处理 App 相关 intent 时提供一些自定义的界面,那么你就需要再添加 Intents UI Extension 的 target,Intents UI Extension 也是一个独立运行的插件(所以要完整的支持 SiriKit 其实是需要添加两个 target,有点蛋疼)。关于 App Extension 的开发可以参考苹果的 App Extension Programming Guide。

我们以QQ中的发消息功能为例说明一下SiriKit的接入方法:

首先,我们需要在 Intents Extentsion 的 info.plist 文件中配置我们需要支持的 siri Intents,在 IntentsSupported 中加入 INSendMessageIntent,如果需要在锁屏时禁用某个功能,则再在 IntentsRestrictedWhileLocked 中加入相应项的 Intent,如图3所示。


图3 Intent Extentsion info.plist配置

SiriKit 的接入主要分为 Intents Extension 和 Intents UI Extension 两部分,下面分别进行介绍。

Intents Extension

当我们对 Siri 说“用QQ发消息给王一然说你好”时,语音的识别将会由 Siri 自动完成,Siri 会将识别好的内容展示在 Siri 的界面。如图4所示,我们可以看到一个完整的发消息语句主要由四部分组成:

应用名:告诉 Siri 要使用哪个 App,Siri 会根据 app 的 bundle displayname 自动识别 app 的名称,无需额外注册。

发消息Intent:告诉 Siri 要使用发消息的功能,我们实测发现说发信息也是能识别,具体还有哪些词汇会识别为发消息的 intent 苹果没有在文档中说明。

消息接收者:告诉 Siri 消息的接收者是谁,“王一然”是我QQ好友的昵称。

消息内容:告诉 Siri 你要发的消息内容是什么,这里的消息内容为“我很生气”。


图4 确认发送消息界面

其中应用名和 Intent 是必须的,不然 Siri 无法抽象出你的“Intent”。后两项如果缺省的话,我们可以在实现中要求用户进一步提供数据或者忽略。在识别完成后 Siri 会将消息内容和接收者抽象成一个 INSendMessageIntent 传递给 QQ的 Intent Extension。

我们从图4还可以看到 Siri 准确从我的语音中识别出我QQ好友中昵称为“王一然”的好友,然而“王一然”并不是一个通用的短语,那么这是怎么做到的呢?奥秘就在于在QQ运行时我们把所有QQ好友的昵称同步到了 Siri 云端,这样 Siri 就可以识别出特定用户要使用的特定短语,详细同步方法可参考 INVocabulary 的 setVocabularyStrings:ofType: 方法。

每个 domain 的功能在 Siri 中都有对应的 Intents,而每个 intents 都对应一个特定的 handler 协议。对于发消息来讲,对应的 Intent 和 handler 协议分别为 INSendMessageIntent 和 INSendMessageIntentHandling。只要实现 INSendMessageIntentHandling 协议中的相关方法,并在 Siri 解析出 INSendMessageIntent 请求时用我们的 INSendMessageIntentHandling 对象去处理相关的发消息请求。具体的流程如图5:


图5 Siri发QQ消息流程

1)ResolveRecipientsForSendMessage

对 Siri 从 Intent 中传递过来的接收者名称进行处理和确认,比如可以确认该名称当前是否在QQ好友列表中,并将 resolution result 反馈给 Siri。Resolution result 代表了应用对 intent 处理后的结果,对于发消息来说,表1列举了几种可能的 resolution results。

表1 send resolution result

2)ResolveContent

与接收者的处理类似,在这个方法中可以对 Siri 识别出的消息内容进行“修饰”,并且将 resolution result 反馈给 Siri,比如QQ对一些消息里面的特殊词汇如“生气”做了 emoji 适配。

3)ConfirmSendMessage

这个方法的作用是确认是否要发送该消息,可以在这一步进行一些鉴权工作,鉴权通过后再确认发送,否则取消。确认可以发送后会调起确认发送界面,如图4所示。如果需要从 Containing App 共享数据,具体的实现方案参考 App Group 的 Shared Container。

4)HandleSendMessage

如图4,当用户点击了“发送”按钮或者用语音给出了发送指令时会最终进入到这个方法,在这个方法里我们需要实现发消息的逻辑,发送成功后可以调起消息发送成功的界面,如图6。


图6 消息发送成功界面

Intents UI Extension

对于支持自定义界面的 Intent 类型,可以在 Intents UI Extension 中提供更美观的自定义界面。 Custom UI 的实现相对较简单,和 iOS app 的开发一样,都是通过 UIViewController 的子类实现。我们需要在 Intents UI Extension 的 info.plist 文件中设置 initial viewcontroller 或者设置 main storyboard,对于不同类型的 Intent 的界面展示通过 Child Viewcontrollers 的方式实现差异化界面展示。

如图7所示,当接收到来自 Intents Extension 的 response 时,系统会唤起 Intents UI Extension 并加载 initial viewcontroller,通过 INUIHostedViewSiriProviding 协议的 configureWithInteraction:context:completion: 方法可以获取 intent,比如在发消息功能中,在消息确认发送和发送成功后都会回调一次这个方法。根据 Intent 对象的类型和状态,在收到相关 Intent 的回调时 present 对应的 Child Viewcontroller 即可实现定制化的界面展示。

这里需要注意的是,Intents UI Extension 的进程并不会在界面销毁后就退出,很可能只是在后台处于休眠状态,下次 response 到来时再被唤醒。


图7 Life cycle of an Intents UI extension

4. 总结

总的来说虽然苹果这一次对 SiriKit 开放的场景有限,但是从我们的适配经历来看苹果对 Siri 还是非常重视的。另外,这是 SiriKit 首次对第三方应用开放接口,所以不可避免存在一些问题。我们在开发过程中也确实遇到了一些 SiriKit 本身的 Bug,大部分 bug 在向苹果反馈后都得到了解决,但是在语言识别方面 Siri 依然存在一些缺陷,比如对中英文混合的场景识别依旧不太好。期待以后 Siri 对中文的支持越来越好,也希望 Siri 能够开放更多的场景给第三方应用适配。

时间: 2024-10-04 06:13:48

iOS10 SiriKit QQ适配详解的相关文章

android屏幕适配详解

android屏幕适配详解 官方地址:http://developer.android.com/guide/practices/screens_support.html 一.关于布局适配建议 1.不要使用绝对布局 2.尽量使用match_parent 而不是fill_parent . 3.能够使用权重的地方尽量使用权重(android:layout_weight) 4.如果是纯色背景,尽量使用android的shape 自定义. 5.如果需要在特定分辨率下适配,可以在res目录上新建layout

quick-cocos2d-x 多分辨率适配详解

多种分辨率的适配一直都是一个蛋疼的问题,各家公司可能都有自己的一套方案.今天我为大家介绍的是我们在多款游戏里实践后的解决方案,相对来说成本和实现难度都较低,效果也很不错. 多种分辨率适配的原理 因为横屏和竖屏的原理完全相同,所以本文先以竖屏为例,后文再说明横屏的处理. 制作一张 640×960 像素的图片,并传入设备查看: 查看时将图片缩放到合适大小,确保图片左右两边正好填满整个屏幕. 在不同分辨率的设备上,这张图片的显示效果差异体现在图片上下是否能够填满屏幕. 例如在 480×800 的设备上

第三方登陆——QQ登陆详解

申请地址 QQ互联:https://connect.qq.com/index.html 腾讯开放平台:https://open.tencent.com/ 注册账号 登陆 进入QQ互联,点击登陆 资料填写 点击头像进入资料填写页面进行认证 根据情况,填写选择公司接入或者个人接入,并填写好信息,并上传手持身份证照片 邮箱验证 点击链接验证,注册成功 注册应用 进入管理中心,等待审核完成后,就可以创建应用 这里有一个方法,加快审核的方法,首页最下面联系在线客服可以直接给你审核 创建应用 我这有已经审核

移动端适配详解

接触移动端网页已经有一段时间 了,一直希望找个机会好好地总结以下,但一直比较懒,所以才拖到了今天. 之前我写过一篇关于移动端布局的文章,这里.这篇文章中介绍了大部分的基本知识点,有需要的可以参考. 我们知道常用的布局方案有: 1. 百分比布局,高度固定 第一种布局方式在移动端是不可采取的,尤其是Retina屏的出现.  有人说我高度不固定而是采用高度由内容撑起来,这样同样是解决不了内容被压扁的尴尬,原因自然就是iphone6 .iphone 6 plus等的出现,dpr更高, 所以元素就会被压扁

Android屏幕像素密度适配详解

讲到像素密度,我们先要搞明白什么是像素密度,像素密度的字面上的意思为手机屏幕上一定尺寸区域内像素的个数.在Android开发中, 我们一般会使用每英寸像素密度(dpi)这样一个单位来表示手机屏幕的像素密度,dpi的换算方法如下: 步骤1:计算得到手机屏幕的斜角像素长度: 步骤2:使用屏幕斜角像素长度去除上手机屏幕尺寸得到dpi 所以,通过这样的一个公式我们就能很方便的了解到dpi,其实就是斜角像素长度与手机屏幕尺寸的一个比值,而我们目前每个Android手机 都是通过这样一个dpi值来区分手机屏

webapp新体验Rem实现移动端网页适配详解资源

本来想写一篇,webapp使用Rem的问题,查了一下相关rem的介绍之后,发现很多平台已经解释的很清楚了,图文并茂,于是我便想将其解释资源整理一些,方便以后自己查阅. 腾讯ISUX:web app变革之rem(解释的最精辟了) 大漠博客:CSS3的REM设置字体大小 小黑成长录:关于webapp中的文字单位的一些捣腾 前端观察站:px em rem在WEB前端开发中的区别 最后分享一段淘宝手机屏幕尺寸判断改变字体大小的js: !function(x) { function w() { var a

腾讯技术分享:GIF动图技术详解及手机QQ动态表情压缩技术实践

本文来自腾讯前端开发工程师" wendygogogo"的技术分享,作者自评:"在Web前端摸爬滚打的码农一枚,对技术充满热情的菜鸟,致力为手Q的建设添砖加瓦." 1.GIF格式的历史 GIF ( Graphics Interchange Format )原义是"图像互换格式",是 CompuServe 公司在1987年开发出的图像文件格式,可以说是互联网界的老古董了. GIF 格式可以存储多幅彩色图像,如果将这些图像((https://www.q

Android屏幕适配问题详解

上篇-Android本地化资源目录详解 :http://www.cnblogs.com/stafen/p/3833048.html 单位: px(像素):屏幕上的点. in(英寸):长度单位. mm(毫米):长度单位. pt(磅):1/72英寸. dp/dip(与密度无关的像素):一种基于屏幕密度的抽象单位.在每英寸160点的显示器上,1dp = 1px,在大于160点的显示器上可能增大.一般用于位置和尺寸属性的单位. dpi:表示当前屏幕的密度. sp(与刻度无关的像素):主要用于字体大小单位

SwipeListView 详解 实现微信,QQ等滑动删除效果

Linux的shell编程 1.什么是shell? 当一个用户登录Linux系统之后,系统初始化程序init就为每一个用户运行一个称为shell(外壳)的程序. shell就是一个命令行解释器,它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序,用户可以用shell来启动.挂起.停止甚至是编写一些程序.一般的Linux系统都将bash作为默认的shell. 2.几种流行的shell 目前流行的shell有ash.bash.ksh.csh.zsh等,可以用下面的命令来查看she