阿里云发布黑科技:面对海量的文本翻译任务,阿里翻译团队是如何解决的

摘要: 对国际化企业来说语言问题是亟待突破的重要关口。面对海量的文本翻译任务,昂贵低效的人工翻译显然不能满足需求,利用计算机自动进行文本翻译的机器翻译才是解决这个问题的关键。阿里翻译团队在机器翻译领域做了大量技术储备,并针对我们所处的电子商务领域进行算法优化,进而打造阿里巴巴自己的机器翻译平台。

对国际化企业来说语言问题是亟待突破的重要关口。面对海量的文本翻译任务,昂贵低效的人工翻译显然不能满足需求,利用计算机自动进行文本翻译的机器翻译才是解决这个问题的关键。阿里翻译团队在机器翻译领域做了大量技术储备,并针对我们所处的电子商务领域进行算法优化,进而打造阿里巴巴自己的机器翻译平台。

目前阿里翻译API已经正式上线阿里云平台,让所有的阿里云用户可以申请使用阿里翻译的最新技术成果啦,今天就让我们一起进入机翻黑科技时间-解密阿里翻译。

1、阿里翻译支持的业务场景

阿里翻译积极助力集团国际化、全球化业务,不仅在电商业务场景有着扎实的积累和优质的服务能力,同时也在不断拓展创新业务场景,借助AI技术赋能产品和服务。
目前已为集团内十几条业务线提供机器翻译和本地化支持,覆盖了Alibaba.com 、 AliExpress 、 Lazada 、钉钉、阿里云、优酷、支付宝、菜鸟、天猫精灵、高德、飞猪等众多产品。

1.1跨境电商解决方案

阿里机器翻译深入剖析“网站/APP本地化”、“引流拉新”、“到站搜索”、“用户转化”、“支付物流”、“留存复购”等全链路环节,提供多类的翻译和语言服务,积极提升业务价值。

以下是部分链路环节介绍:
1.1.1搜索翻译

跨境电商中目前搜索引擎主要基于英文做索引,需要将本地用户输入的搜索词进行语种识别然后再翻译成英文,通过英文进行索引匹配,返回搜索结果,这是保障多语言流量转化率的关键环节,直接影响多语言电商GMV。
除跨语言搜索翻译外,目前阿里翻译在搜索自动化上支持完整的人工解决方案,能够针对电商平台高流量top search query快速提供人工语种识别&翻译结果,干预生效,同时挖掘搜索业务低转化的badcase search query并快速人工修正翻译结果的能力,快速提升转化指标。

1.1.2商品翻译

跨境电商中需要对全站商品信息进行多语言化,包括商品标题、商品详情、商品评论等内容进行翻译。其中商品标题是用户获取商品信息的重要途径,在商品标题翻译场景上,通过对源语言是中文或者英文的标题进行NER识别,并根据不同业务方的业务规则对识别后的标题根据成分进行重新改写生成,改写后再翻译成目标语种。对商品的购买转换率有非常重要的影响。
商品详情是用户阅读商品信息的主要内容,包括商品属性、商品描述等信息,商品属性是商品的关键信息,机器翻译系统会通过翻译记忆将关键信息进行高质量存储提高翻译准确率,这部分内容能够帮助用户更好的了解商品各种规格材质,有效帮助用户进行购买决策。

由于网站买家来自全球各地,所以用户对商品的评价信息也是来自多国多语言,网站提供选项将多语言评论信息勾选统一翻译成英文的功能,帮助买家更好了解其他买家对商品的评价反馈信息。

1.1.3沟通翻译:
网站买卖家都是来自世界各地,所以对商品的基本信息,售前咨询,售后服务都需要进行基本的语言沟通,这是翻译最基本的应用场景,通过提供实时机器翻译同时能够对翻译结果进行后编辑,提升翻译后译文的质量。可以帮助电商网站大大提升购买转化和售后投诉等等问题。

1.2网站国际化解决方案

阿里翻译目前服务集团内数十个业务方的产品国际化及本地化需求,支持数十种语言的人工精翻,实现网站本地化的标准化、自动化、中台化。

1.3 人机结合翻译解决方案
目前现有机器翻译质量还不完美的前提下,对于一些对质量要求极高的内容通过适当加入人工翻译的力量可以快速达成业务目标,目前阿里翻译拥有上百家语言供应商和数十万个人译者的庞大翻译资源,可以针对重点商品进行高效快速的低成本人工翻译,对快速启动新业务起到了不可或缺的作用。

1.4创新服务场景解决方案

阿里翻译沉淀了优质的跨境语料数据库,充分利用先进的机器翻译算法技术和海量的数据资源,深度打磨机器翻译质量和产品体验,并积极拓展机器翻译业务的产品形态,将各项机器翻译技术产品化,如语音翻译、会场同传、实时沟通等新产品和服务形态。
阿里巴巴实时语音翻译,于18年初随阿里AI军团一同出征美国CES(国际消费电子展),在拉斯×××精彩亮相,成功吸引了国内外众多媒体和观众的目光。

2、阿里机器翻译技术体系的特点

在线上快速发展以及随着集团开始全面国际化的背景下,阿里机器翻译平台经过多年的打磨逐渐形成自己的体系。

2.1高性能高并发服务能力

当前在线机器翻译系统提供SMT和NMT两种翻译模型,近两年来由于硬件计算能力的大幅提升和深度机器学习的广泛使用,在翻译质量上NMT翻译质量已经远超传统的SMT模型,不过NMT在计算上的复杂使得NMT在速度上也远慢于SMT。NMT解码速度的提升是系统提供高吞吐,低延迟服务的关键。

2.1.1 分布式并行翻译

当前机翻平台承接的业务相当大的一部分翻译需求为大本文和网页,将这些请求按照对应的格式进行结构化的解析,然后通过分句模型把篇章级的请求分隔为句子级别,然后再分布式批量调用解码服务,这样不仅能大幅提高分布式缓存的命中率,环节性能压力同时也能大幅降低长文本的翻译延迟。

2.1.2 Inference优化

今年NMT已经成了翻译行业的一个标配,随着这种技术的普及也给系统性能带来了新的挑战。这一年多基于GPU的NMT优化极大的提高了系统的解码速度,对系统的解码速度有数倍的提升。

2.1.3 SMT和NMT混合解码

根据实际业务场景,我们发现在处理商品页的时候会出现大量短句,而且这些短句的NMT翻译结果还不如SMT的翻译结果,所以在调用decoder前通过一个策略模块来决策调用SMT或者NMT,从而减少NMT的吞吐量,极大的减少了GPU资源的消耗同时也提升了翻译质量。

2.2 服务全球化以及高可用的保障

2.2.1 全球多机房部署

阿里集团的涉及到的多语言翻译业务需求遍布全球,为了更好的支持不同地域的翻译需求同时能尽量减小由于地域带来的访问延迟,翻译平台实现了全球中国、俄罗斯、美国、新加坡多机房部署。 不仅实现了单地域的多机房容灾同时还支持跨地域全球容灾。

2.2.2 多场景差异化支持

阿里翻译接入的场景比较多情况也比较复杂,不同的应用场景对系统的要求也不尽相同,所以针对不同的应用场景实现了同步和异步两套处理机制,架构上实现两种不同的对外接口,但是机翻引擎保持同一套代码同一套服务,

同步:
接收到请求后实时的调用后端引擎,能够做到实时返回,用于对rt要求高的场景,另外通过多级缓存进一步的提高吞吐量和降低rt。

异步:
大文本商品翻译和离线翻译场景。通过metaq消息队列实现异步化,通过不同的消息队列来对应用设置不同的优先级,使用信号量来控制不同队列消费的线程数,动态的解决翻译热点时消息堆积问题。

2.3 Transformer 新型神经网络结构

阿里机器翻译基于业界最新的Transformer结构进行了网络结构的改进和对词语位置信息的充分利用,全面改进了机器翻译的性能。

2.4 多模态服务能力

现阶段的机器翻译已不仅仅局限于文字到文字的翻译, 多模态的翻译已成为发展趋势。将多模态的信息如语音、图像、类目等通过神经网络进行融合,并利用Attention机制将信息加以聚焦,可以获得良好的效果。阿里翻译实时语音翻译demo在云栖大会、CES展会上都有亮眼的表现。

3、阿里云机器翻译API接入流程

介绍了技术能力和如此广阔的应用场景,接下来详细介绍下我们到底应该如何接入使用?

1、打开阿里云主页(https://www.aliyun.com),在导航栏选择产品-人工智能-机器翻译,进入自然语言处理页面选择开通服务

2、勾选阅读并同意协议,单击立即开通

3、进入自然语言处理控制台,选择购买资源包

4、购买对应的资源包,购买量越大单价越便宜。

5、购买完成后就可以进行调用了。可在API调试界面进行调试

6、机器翻译调用说明文档

7、代码调用示例

8、代码调用失败示例,查看错误信息

4、未来展望
为了更好地迎接国际化带来的挑战, 阿里翻译团队在未来还有着很大的想象空间,在翻译模型上会向“统一化,多任务化,多模态化”方向发展,产品形态上除了目前基于文本的翻译外,会扩展跟多模态的翻译产品,例如语音翻译、图像翻译等领域,同时还是针对具体应用场景例如搜索、实时沟通、旅游推出相关接口服务,在服务部署上也会针对客户需求推出定制化私有化部署的能力,助力企业解决国际化过程中的语言问题。

原文链接
本文为云栖社区原创内容,未经允许不得转载。

原文地址:http://blog.51cto.com/13876536/2149162

时间: 2024-09-29 16:24:08

阿里云发布黑科技:面对海量的文本翻译任务,阿里翻译团队是如何解决的的相关文章

阿里云发布ET工业大脑开放平台,全球首个工业智能的孵化基地

摘要: 8月1日,阿里云发布ET工业大脑开放平台,基于该平台,合作伙伴可以轻松实现工业数据的采集.分析.挖掘.建模,并且快速构建智能分析应用.未来3年,阿里云将面向工业领域招募上千家生态合作伙伴,以实现智能制造成功案例的规模化复制,加速推动制造业的数字化转型. 8月1日,阿里云发布ET工业大脑开放平台,基于该平台,合作伙伴可以轻松实现工业数据的采集.分析.挖掘.建模,并且快速构建智能分析应用.未来3年,阿里云将面向工业领域招募上千家生态合作伙伴,以实现智能制造成功案例的规模化复制,加速推动制造业

单颗GPU计算能力太多、太贵?阿里云发布云上首个轻量级GPU实例

摘要: 阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本.更高弹性开展业务. 在硅谷举办的2019年NVIDIA GPU技术大会(GTC)上,阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本.更高弹性开展业务. 在该实例发布之前,业内均采用以单颗物理GPU为单位的

阿里云发布国内首个大数据双活容灾服务

摘要: 在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测. 在6月上旬举行的云栖大会上海峰会上,阿里云发布了国内首个大数据集群双活容灾产品-混合云容灾服务下的混合云大数据容灾服务(HDR for Big Data, 简称 HDR-BD),并已经在7月份开始邀测.HDR-BD采用业界领先的数据双向实时复制技术,可以实现Hadoop集群双活和准0 R

阿里云发布vSphere虚拟机备份服务

摘要: 在6月上旬举行的云栖大会上海峰会上,阿里云发布了vSphere虚拟机备份上云服务(HBR for vSphere),并已经在7月份开始邀测.利用混合云备份服务可以将虚拟机镜像备份上云,避免了传统备份方案复杂的软件部署,存储资源规划,异地备份保护等难点,客户在网络带宽有限的条件下依然能够有效地保护vSphere虚拟机数据. 在6月上旬举行的云栖大会上海峰会上,阿里云发布了vSphere虚拟机备份上云服务(HBR for vSphere),并已经在7月份开始邀测.利用混合云备份服务可以将虚拟

阿里云发布vSphere虚拟机备份服务 ,网络带宽有限条件下依然能有效保护数据

在6月上旬举行的云栖大会上海峰会上,阿里云发布了vSphere虚拟机备份上云服务(HBR for vSphere),并已经在7月份开始邀测.利用混合云备份服务可以将虚拟机镜像备份上云,避免了传统备份方案复杂的软件部署,存储资源规划,异地备份保护等难点,客户在网络带宽有限的条件下依然能够有效地保护vSphere虚拟机数据. 常见虚拟机备份技术的挑战 传统常见的虚拟机备份方式是把虚机机当做单独的主机,在每台虚拟机上安装备份软件,然后备份到本地的存储,这种方案可以用在虚拟机数目不大的环境,当虚拟机规模

下一代智能数据工厂,阿里云发布全新DataWorks

摘要: 大数据的开发能力已经成为企业的核心竞争力之一, 企业对数据资产的管理.加工.利用的诉求也越来越强烈. 9月5日,阿里云发布了DataWorks V2版本, 可提升数据开发的效率并简化数据操作,为企业提供了安全可靠的一站式大数据智能云研发平台. 大数据的开发能力已经成为企业的核心竞争力之一, 企业对数据资产的管理.加工.利用的诉求也越来越强烈. 9月5日,阿里云发布了DataWorks V2版本, 可提升数据开发的效率并简化数据操作,为企业提供了安全可靠的一站式大数据智能云研发平台. 众所

阿里云发布链路追踪服务Tracing Analysis

摘要: 近日,在杭州云栖大会上,阿里云发布了链路追踪服务Tracing Analysis,成本是自建链路追踪系统的1/5或更少,可为分布式应用的开发者提供完整的调用链路还原.调用请求量统计.链路拓扑.应用依赖分析等工具,帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,提高微服务时代下的开发诊断效率. 近日,在杭州云栖大会上,阿里云发布了链路追踪服务Tracing Analysis,成本是自建链路追踪系统的1/5或更少,可为分布式应用的开发者提供完整的调用链路还原.调用请求量统计.链路拓扑.应

阿里云发布时间序列数据库TSDB,关于时序你了解多少?

摘要: 阿里云发布时间序列数据库TSDB,专家帮你解答时序那些事. 概要介绍时间序列数据是一种表示物理设备,系统.应用过程或行为随时间变化的数据,广泛应用于物联网,工业物联网,基础运维系统等场景.阿里云TSDB 时间序列数据库可以解决大规模时序数据的可靠写入,降低数据存储成本,实时灵活的完成业务数据聚合分析. 什么是时序数据我们来看感受一下平时自己特别熟悉的场景,就会发现时序和每个人都存在非常紧密的关系:电商系统获取每笔订单交易金额和支付金额数据以及商品库存和物流数据:智能电表,会实时记录每个小

阿里云发布新版SaaS上云工具包,全面助力SaaS上云

9月26日,在云栖大会SaaS加速器专场上,阿里云发布了新版的SaaS上云工具包(SaaS Launch Kit),发布了API网关的新功能,以及推出了全新升级的能力中心. SaaS上云工具包,顾名思义,就是帮助伙伴的SaaS上云的工具包.这里的SaaS指的广义的企业应用,包含SaaS,传统企业软件,API.解决方案等等.对SaaS而言,上云不是目的,而是手段.上云真正的目的是客户体验提升,业务连续,以及伙伴业务发展和降低成本.阿里云希望SaaS上云对伙伴是快捷的, 省心的; 对客户是友好的,