摘要：而谷歌的有很大不同，它通过某种手段实现了语音到语音的直接转译，避免了上述的三个步骤。
背景介绍
作为中国人，学好英语这件事从小学开始就让人苦恼，近些年随着AI的快速发展，语言差异是否会缩小甚至被消灭成了热门话题。在5月15日，谷歌AI在博客平台发出一篇文章，正式介绍了一款能保留原声的“同声传译”黑科技，消息一出，迅速席卷网络，为科技发烧友带来了更多曙光，下面，让我们来揭开这个叫做“Translatoron”的神秘面纱。
Translatotron的出现目前市面常用的语音翻译产品的翻译过程包含三个步骤，首先将语音转换为文字，再由机器将文字转换为目标语言文字，最后将目标语言的文字转化为语音（文字转语音全称Text-To-Speech，也叫TTS）。
而谷歌的Translatotron有很大不同，它通过某种手段实现了语音到语音的直接转译，避免了上述的三个步骤。除此之外，它还有一些其它的优势，比如更快的推理速度、更容易识别不需要翻译的名称及专业名词等，最牛的是它可以保留原说话人的声音特征，做到原声输出其它语言，幻想一下用自己的声音说出了连本人都听不懂的外语，是不是有点像《流浪地球》中的同声翻译，多刺激啊，在此向大刘致敬！
Translatotron的原理其实端到端的语音翻译在2016年就出现了，当时研究者们发现用“序列到序列模型”来做“语音到文字”的翻译可行性很高，到了2017年，研究者们证明出它果然很吊，但是这还不够，Translatotron的出现又向大家证明了“序列到序列模型”不仅可以转文字，还可以不依赖任何中间文本，直接帮你转为语音。
上面部分的名词有些含糊不清，这里来解释一下，首先是端到端学习，英文名为end-to-end，它就像一个黑盒子，人们把数据丢进去后只关心结果是否与期望的结果一致，不关心中间的实现过程。这个黑盒子的实现原理是，当结果和期望的结果出现误差后，它会将误差反传回训练模型的每一环节，让它们根据误差来自我调节，直到结果与预期相符为止。
而序列到序列模型，英文为Sequence to Sequence，它是端到端理念的一种实现框架，最早出现于Bengio在2014年的论文，Bengio是蒙特利尔大学的教授，他与另外两位朋友被AI领域的人戏称为“加拿大黑手党”。
“序列到序列”模型的目的是“将一个领域(比如中文)的序列转化为另一个领域(比如英文)的序列”，它是通过联合两个循环神经网络(RNN)来实现的，而联合的这种结构又被叫做编码-解码(Encoder-Decoder)结构，结构的两端支持多种数据类型，比如文字、语音、图像、视频等，非常适用于机器翻译。
Translatotron正是利用了图像这种数据类型，它通过声谱图作为输入，再生成出目标语言的声谱图，然后通过一个叫做Vocoder的语音编解码器(用于分析和合成用于音频数据压缩，多路复用，语音加密，语音转换等的人类语音信号)将新生成的光谱图转换为时域波形(一种表达信号与时间关系的波浪形状)。另外，它还可以选择使用一个编码器在合成翻译语音中维护原来的语音特征。
这项研究是由谷歌大脑、谷歌翻译和谷歌语音团队共同完成的，由于目前的训练数量较少，Translatotron所展示出的翻译质量以及原声匹配度没有预想中那么好，但随着更多数据的训练相信会有非常光明的前景。感兴趣的同学可以去官方博客了解一下。
如果你愿意，让我来帮你关注那些可能不知道又想知道却想不到的知识。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/20590.html
摘要：而谷歌的有很大不同，它通过某种手段实现了语音到语音的直接转译，避免了上述的三个步骤。 showImg(https://segmentfault.com/img/remote/1460000019222725); 背景介绍 作为中国人，学好英语这件事从小学开始就让人苦恼，近些年随着AI的快速发展，语言差异是否会缩小甚至被消灭成了热门话题。在5月15日，谷歌AI在博客平台发出一篇文章，正式...
摘要：在容器之战中，谷歌宣布了最新开源容器编排引擎版本。这个是谷歌对抗计划将和核心引擎结合在一起的举动。选择托管环境来运行工作伴随着版本的发布，谷歌宣布它的托管容器管理平台，已经更新到最新的版本。 在容器之战中，谷歌宣布了最新开源容器编排引擎Kubernetes1.3版本。此次的发布是在 Docker 公司发布 Docker 1.12 版本之后，该版本带有内置的 Swarm 编排功能。 虽然...
摘要：形成鲜明对比的是大洋彼岸的谷歌云并非如此低调。对比已被亚马逊宣称成为营收主力谷歌云的地位确实有不小落差。一言以蔽之有了广告业务这个收入引擎谷歌董事会们并没有指望云计算能给他们赚多少钱。2017年,对想要在中国落地的海外云服务商来说,可能是最艰难的一年。一方面,《网络安全法》正式实施,政府加强了对海外服务商数据的管控,中国用户的数据必须交由本土公司运营;另一方面,工信部加强了对云服务商营业资质...
摘要：但是在谷歌云客户发布时，一切好像都没有按照常理出牌，从中我体验到前所未有的成长。希望将运行起来。第二天预计将发布版本到美国，在这之前，已经提前跟寻求好了支援。游戏的应用程序逻辑运行在谷歌上面，由开源项目驱动。是谷歌上面部署规模最大的项目。 《Pokémon Go》是由任天堂、Pokémon 公司和谷歌 Niantic Labs 公司联合制作开发的现实增强（AR）宠物养成对战类 RPG ...
摘要：今天，我打算向你们展示如何用原生做一款谷歌插件不依靠任何诸如或者框架的原生。我将向你们展示如何从零开始打造一款简易的谷歌插件。关于谷歌插件从本质上来说，一款谷歌插件只是一些用来定制浏览体验的文件。 今天，我打算向你们展示如何用原生JavaScript做一款谷歌插件----不依靠任何诸如React、Angular或者Vue框架的原生JS。 做一款谷歌插件并没有那么困难——在学习编程的第一...
阅读 593·2023-04-25 16:55
阅读 1904·2021-11-15 11:37
阅读 2656·2021-10-11 10:59
阅读 1889·2021-09-09 11:38
阅读 1580·2021-09-03 10:40
阅读 1370·2019-08-30 15:52
阅读 974·2019-08-30 15:52
阅读 827·2019-08-29 15:33
