HoloLens开发手记 - Unity之语音输入

对于HoloLens，语音输入是三大基本输入方式之一，广泛地运用在各种交互中。HoloLens上语音输入有三种形式，分别是：

• 语音命令 Voice Command
• 听写 Diction
• 语法识别 Grammar Recognition

语音命令 Voice Command

KeywordRecognizer

命名空间: UnityEngine.Windows.Speech

类: KeywordRecognizer, PhraseRecognizedEventArgs, SpeechError, SpeechSystemStatus

使用方法很简单，通过注册<关键词>来初始化KeywordRecognizer实例，同时注册语音命令事件来做后续处理。

using UnityEngine.Windows.Speech;
using System.Collections.Generic;
using System.Linq;

public class KeywordManager : MonoBehavior
{

    KeywordRecognizer keywordRecognizer;
    Dictionary<string, System.Action> keywords = new Dictionary<string, System.Action>();

    void Start()
    {
        //初始化关键词
        keywords.Add("activate", () =>
        {
            // 想执行的行为
        });

        keywordRecognizer = new KeywordRecognizer(keywords.Keys.ToArray());
        keywordRecognizer.OnPhraseRecognized += KeywordRecognizer_OnPhraseRecognized;
        //开始识别
        keywordRecognizer.Start();
    }

    private void KeywordRecognizer_OnPhraseRecognized(PhraseRecognizedEventArgs args)
    {
        System.Action keywordAction;
        // 如果识别到关键词就调用
        if (keywords.TryGetValue(args.text, out keywordAction))
        {
            keywordAction.Invoke();
        }
    }
}

语法识别 Grammar Recognition

GrammarRecognizer

命名空间：UnityEngine.Windows.Speech

类： GrammarRecognizer, PhraseRecognizedEventArgs, SpeechError, SpeechSystemStatus

在你创建好SRGS文件后，将它放进StreamingAessets文件夹：

<PROJECT_ROOT>/Assets/StreamingAssets/SRGS/myGrammar.xml

使用起来也很简单，代码如下：

public class GrammarManager : MonoBehavior
{
    private GrammarRecognizer grammarRecognizer;

    void Start()
    {
        //初始化
        grammarRecognizer = new GrammarRecognizer(Application.streamingDataPath + "/SRGS/myGrammar.xml");
        grammarRecognizer.OnPhraseRecognized += grammarRecognizer_OnPhraseRecognized;
        //开始识别
        grammarRecognizer.Start();
    }

    private void Grammar_OnPhraseRecognized(PhraseRecognizedEventArgs args)
    {
        SemanticMeaning[] meanings = args.semanticMeanings;
        // 执行动作
    }
}

听写 Diction

DictationRecognizer

命名空间： UnityEngine.Windows.Speech

类： DictationRecognizer, SpeechError, SpeechSystemStatus

听写特性用于将用户语音转为文字输入，同时支持内容推断和事件注册特性。Start()和Stop()方法用于启用和禁用听写功能，在听写结束后需要调用Dispose（）方法来关闭听写页面。GC会自动回收它的资源，如果不Dispose会带来额外的性能开销。

完整的使用方法如下：

public class DictionManager : MonoBehavior
{
    private DictationRecognizer dictationRecognizer;

    void Start()
    {
        dictationRecognizer = new DictationRecognizer();
        //注册事件
        dictationRecognizer.DictationResult += DictationRecognizer_DictationResult;

        dictationRecognizer.DictationHypothesis += DictationRecognizer_DictationHypothesis;

        dictationRecognizer.DictationComplete += DictationRecognizer_DictationComplete;

        dictationRecognizer.DictationError += DictationRecognizer_DictationError;

        //开始听写识别
        dictationRecognizer.Start();
    }

    private void DictationRecognizer_DictationResult(string text, ConfidenceLevel confidence)
    {
        // 自定义行为
    }

    private void DictationRecognizer_DictationHypothesis(string text)
    {
        // 自定义行为
    }

    private void DictationRecognizer_DictationComplete(DictationCompletionCause cause)
    {
        // 自定义行为
    }

    private void DictationRecognizer_DictationError(string error, int hresult)
    {
        // 自定义行为
    }

    void OnDestroy()
    {
        //释放资源
        dictationRecognizer.DictationResult -= DictationRecognizer_DictationResult;
        dictationRecognizer.DictationComplete -= DictationRecognizer_DictationComplete;
        dictationRecognizer.DictationHypothesis -= DictationRecognizer_DictationHypothesis;
        dictationRecognizer.DictationError -= DictationRecognizer_DictationError;
        dictationRecognizer.Dispose();
    }
}

注意：以下情况中，听写识别会自动触发超时行为：

1. 如果在听写开始后第一个5秒内没听到任何声音，将会超时
2. 如果识别到了一个结果但是之后20秒没听到任何声音，也会超时

同时使用以上特性

PhraseRecognitionSystem.Shutdown();

为了从先前状态恢复所有的识别器，可以在听写识别完成后调用如下代码：

PhraseRecognitionSystem.Restart();

当然你也可以重新开始一个 KeywordRecognizer，这将会重启PhraseRecognitionSystem，达到上面的效果。

总结