「微信同声传译」小程序插件:快速实现语音转文字、文本翻译、语音合成等能力

上期,我们在《「医院 LBS 位置服务」插件:输出LBS室内位置能力,为改善就医服务提供解决方案》一文中介绍了「医院 LBS 位置服务」小程序插件的意义、使用场景以及使用方法。

今天我们为大家推荐的插件是「微信同声传译」,如果你想在小程序中拥有快速实现语音转文字、文本翻译、语音合成等能力,那么「微信同声传译插件」是你的不二选择。接下来,我们将从使用场景到使用方法,为你作出详细的介绍。

「微信同声传译」插件能做什么?

今天我们说到的「微信同声传译」插件,是由微信智聆语音团队、微信翻译团队与公众平台联合推出的同传开放接口,可通过语音转文字、文本翻译、语音合成接口,为开发者赋能。值得一提的是,在原有功能的基础上,插件还新增了对粤语语音识别的支持

通过这个插件,插件使用者可以轻松实现语音读取识别、文本转语音和中英文文本转换,避免这类需求的重复开发工作。

小程序「面对面翻译」便使用了插件中的接口能力,并将其开源以帮助开发者快速开发,有兴趣的读者可以体验小程序 ??

「面对面翻译」小程序码

「微信同声传译」插件的使用场景

场景一:英语口语、听力双管齐下,没有外教也能学好英语!

把「微信同声传译」插件放在小程序里,既可以将口语转为文字,也可以帮助用户判断发音是否标准纯正,是最佳听众和英语学习道路上的良师益友。

场景二:出国旅游,英语蹩脚怎么办?

这时可以把「微信同声传译」插件应用到翻译小程序里,说中文,译英文,再也不怕出国交流难。

场景三:看剧时想要吐槽!可是手里有零食,打字不方便怎么办?

只要在小程序里有「微信同声传译」插件,用户就可以按住按钮说话,语音转文字,发送弹幕!

如何接入「微信同声传译」插件?

「微信同声传译」的功能强大,使用起来却十分简单:

一、添加插件

1.申请使用插件。在「小程序管理后台 - 设置 - 第三方服务 - 插件管理」中查找插件名称「微信同声传译」(目前最新版本:0.2.2,appid:wx069ba97219f66d99),并申请使用。

2.引入插件代码后修改配置文件 JSON:

// app.json
{
  ...
  "plugins": {
    ...
    "WechatSI": {
      "version": "0.2.2",
      "provider": "wx069ba97219f66d99"
  }
}

3.接下来,在 index.js 引入插件,获取全局唯一的语音识别管理器 recordRecoManager

// index.jsconst plugin = requirePlugin("WechatSI")const manager = plugin.getRecordRecognitionManager()

二、语音输入

如果你希望做到的效果是按住某个按钮,开始识别语音,松开按钮就结束识别,那你需要进行以下步骤的操作。

<view  catchtouchstart="streamRecord" catchtouchend="endStreamRecord">中文view>
// index.jsPage({
  data: {},
  streamRecord: function() {
    manager.start({
      lang: ‘zh_CN‘,
    })
  },
  streamRecordEnd: function() {
    manager.stop()
  }
})

三、绑定录音回调事件

<view>语音识别内容:{{currentText}}view>
// page.jsPage({
  data: {
    currentText: ‘‘,
  },
  initRecord: function() {    //有新的识别内容返回,则会调用此事件
    manager.onRecognize = (res) => {      let text = res.result      this.setData({
        currentText: text,
      })
    }    // 识别结束事件
    manager.onStop = (res) => {      let text = res.result      if(text == ‘‘) {        // 用户没有说话,可以做一下提示处理...
        return
      }      this.setData({
        currentText: text,
      })      // 得到完整识别内容就可以去翻译了
      this.translateTextAction()
    }
  },
  translateTextAction: function() {},
  onLoad: function() {    this.initRecord()
  }
})

四、文本翻译

<view>翻译结果:{{translateText}}view>
// page.jsPage({
  data: {
    currentText: ‘‘,
    translateText: ‘‘,
  },
  translateTextAction: function() {    let lfrom =  ‘zh_CN‘
    let lto = ‘en_US‘
    plugin.translate({
      lfrom: lfrom,
      lto: lto,
      content: this.data.currentText,
      tts: true, // 需要合成语音
      success: (resTrans)=>{        // 翻译可以得到 翻译文本,翻译文本的合成语音,合成语音的过期时间
        let text = resTrans.result        this.setData({
          translateText: text,
        })        // 得到合成语音让它自动播放出来
        wx.playBackgroundAudio({
          dataUrl: resTrans.filename,
          title: ‘‘,
        })
      },
    })
  },
})

五、语音合成

plugin.translate 得到的语音文件具有过期时间,可以下载到本地使用。

如果像「面对面翻译」小程序一样需要存比较多历史记录的话,也可以选择过期之后调用 plugin.textToSpeech 接口再去重新合成一次。

plugin.textToSpeech({
    lang: ‘zh_CN‘,
    content: ‘我想重新进行语音合成‘,
    success: resTrans => {      // 可以重新得到语音合成文件和过期时间
    },
})

如果你想了解更多「微信同声传译」插件详情,欢迎访问开发者社区插件版块相应页面(建议电脑访问):

??https://mp.weixin.qq.com/wxop...

手机端用户也可以扫码访问 ??

内容来自:微信开放社区《小程序·小故事》栏目
原作者:谢滔、黄嘉敏
任何问题,欢迎前往微信开放社区:https://developers.weixin.qq.com

了解更多小程序开发相关内容,欢迎微信扫描下方二维码关注微信极客WeGeek公众号,共筑微信生态。

原文地址:https://www.cnblogs.com/jlfw/p/12687178.html

时间: 2024-09-27 08:33:31

「微信同声传译」小程序插件:快速实现语音转文字、文本翻译、语音合成等能力的相关文章

「wxParser」小程序插件:想在小程序中快速部署富文本?这个插件让你一步搞定

上期,我们在<「微信同声传译」小程序插件:快速实现语音转文字.文本翻译.语音合成等能力>一文中介绍了「微信同声传译」小程序插件的意义.作用以及应用.而在此之前,我们还介绍过「腾讯地图」.「腾讯视频」.「医院 LBS 位置服务」插件,有兴趣了解的读者可以点击「微信极客WeGeek」公众号底部菜单「极客干货 - 小程序插件」了解. 今天我们为大家推荐的是一款富文本渲染插件「wxParser」,目前 wxParser 支持对一般的富文本内容包括标题.字体大小.对齐和列表等进行解析.同时也支持表格.代

「腾讯视频」微信小程序插件介绍

上期,我们在<从原理到应用,一文带你了解小程序插件能力>一文中介绍了小程序插件的意义.作用以及应用.今天开始,我们会每期与大家分享一款优秀的小程序插件,从使用场景到使用方法,都将作出详细的介绍. 第一期与大家分享的小程序插件,是「腾讯视频」插件. 「腾讯视频」插件能做什么? 如果你有一个电商小程序,想在其中增加商品介绍视频,少不了会担心搭建视频服务开发成本太大的问题: 如果你有一个餐饮类小程序,想在其中增加菜品介绍视频,少不了会担心带宽成本太高的问题: 如果你有一个门票预订小程序,想在其中增加

AI谋杀同声传译究竟还有多远?

1919年,在审判德国的巴黎和会上,英法两国代表在1000多人的见证下首次借助同声传译完成了紧张的谈判过程,这也是同声传译最早的一次亮相,由此奠定了同声传译的主色调:会议语言排障和实时沟通. 同声传译正在面临来自AI的威胁 如今,同声传译依然扮演着极其重要的角色,世界上95%的国际会议都有专业同声传译人员坐镇,但人才的极度稀缺早就让同声传译被冠以"日进斗金"的称号.据相关资料显示,同声传译是按时薪的方法来计算工资的,一般最低为千元每小时,资历越深工资自然就越高,所以日进斗金对同声传译行

微信小程序开发—快速掌握组件及API的方法---转载

微信小程序框架为开发者提供了一系列的组件和API接口. 组件主要完成小程序的视图部分,例如文字.图片显示.API主要完成逻辑功能,例如网络请求.数据存储.音视频播放控制,以及微信开放的微信登录.微信支付等功能. 组件 官方文档:https://mp.weixin.qq.com/debug/wxadoc/dev/component/ 对于开发文档,个人建议先了解其整体框架,了解其提供了哪些组件,再联想到这些组件会用在哪些产品的哪些功能.对于接口也是一样,整体了解,而不需要细看. 熟悉了文档的结构,

微信小程序插件

介绍 微信小程序插件是对一组js接口,自定义组件或页面的封装,用来嵌入微信小程序中,用来被开发者调用. 微信小程序必须嵌入到其他程序中才能使用. 插件具有独立的api,域名列表. 开始 创建插件项目 完成以后界面如下 创建完成以后目录如下 - pluggin // 插件目录,存放插件代码 - miniprogram // 放置小程序目录,用于存放代码 - doc // 用于存放说明文档 插件的目录结构 示例的文件目录如下所示 说明,在上方的目录结构中,plugin为插件目录,api文件夹下的da

阅读项目:微信日历小程序插件

韩颖 1759110 软工一班 我在网上找到了一段别人写的微信小程序代码,主题是日历以及签到.由于市面上的小程序鲜少有签到及积分功能,此款程序内容完备且观点新颖,因此值得我们学习与借鉴. ----------------------------------------------------------- 以下是小程序插件的代码链接 https://www.cnblogs.com/zengxuelan/p/10030598.html -------------------------------

小程序如何快速获得3000用户?

前言 一款好产品的出现,一定绕不开运营推广这个话题,小程序也是如此.如何让小程序快速推广,达到预期效果呢?接下来极乐君和大家分享下小程序如何快速获得3000用户.小程序快速推广九九归一法 一.小程序自身优化 品牌运营若名称与公司品牌一致,可少走很多弯路,比如:公司品牌是极乐商店,小程序名称就叫<极乐商店>. 关键字优化有时为了突出名称的意义,可能会跟品牌不一致,但网民搜索又可能搜索不到,这时关键字优化就很重要了,核心优化点在于:内容描述中必须包含核心关键字,并获得较好排名,如搜索『简历』,你的

「从模板消息改版订阅消息」小程序推送

前言 只有光头才能变强. 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y 如果近期有看我文章的同学,会知道我最近在公司做的是推送系统.推送系统在我这也叫做消息管理平台,其实很容易理解:提供一个支持多渠道发送消息的系统. 在前段时间,微信公布:小程序模板消息接口将于2020年1月10日下线,开发者可使用订阅消息功能. 底层接口的变动,对程序员来说意味着什么,你懂的. 人在家中坐,班从天上来 本篇文章主要来聊聊我这边是怎么

「小程序JAVA实战」 小程序默认加载的页面和生命周期(八)

转自:https://idig8.com/2018/08/09/xiaochengxu-chuji-08/ 小程序如何加载的呢?生命周期!源码:https://github.com/limingios/wxProgram.git 中的No.3 加载页面 小程序默认加载的pages中的第一个目录 不管你的名称,只管你的顺序 其他目录需要通过触发才能加载 生命周期 相关的框架的时候都有生命周期的概念,通过了解生命周期更好的把控框架的使用! onLaunch 第一次打开小程序的初始化,也被调用一次.