linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > 小企鹅新闻图书馆 >

Google AI工程师介绍Translatotron,一种端到端的直接语音翻译模

时间:2019-05-19  来源:未知  作者:admin666

就在两天前,Google AI的研究团队推出了Translatotron,一种端到端的直接语音翻译模型。在他们的研究论文 Direct speech-to-speech translation with a sequence-to-sequence model 中他们Translatotron认识到该模型在两个西班牙语到英语数据集上实现了高翻译质量。

Google AI工程师介绍Translatotron,一种端到端的直接语音翻译模型

语音转换系统通常分为三个独立的组件:

自动语音识别:用于将源语音转录为文本。 机器翻译:用于将转录的文本翻译成目标语言 文本到语音合成(TTS):用于从翻译文本生成目标语言的语音。

将任务划分为此类系统已成功运作,并为许多商业语音转语音翻译产品提供动力,包括谷歌翻译。

2016年,大多数工程师和研究人员意识到,当研究人员使用单个序列到序列模型进行语音到文本翻译时,对语音翻译的端到端模型的需求。

2017年,Google AI团队证明此类端到端模型的性能优于级联模型。最近,已经提出了许多用于改进端到端语音到文本翻译模型的方法。

Translatotron证明单个序列到序列模型可以直接将语音从一种语言翻译成另一种语言。此外,它不依赖于任何一种语言的中间文本表示,如级联系统所要求的那样。它基于序列到序列网络,它将源光谱图作为输入,然后生成目标语言中翻译内容的光谱图。

Translatotron还使用了两个经过单独训练的组件:一个将输出频谱转换为时域波形的神经声码器和一个扬声器编码器,用于在合成的翻译语音中保持源扬声器的声音。

序列到序列模型使用多任务目标来预测源和目标转录本,并在训练期间生成目标谱图。但在推理期间,没有使用没有成绩单或其他中间文本表示。

Google AI的工程师通过测量BLEU(双语评估替补)评分来验证Translatotron的翻译质量,该评分是通过语音识别系统转录的文本计算的。

结果确实落后于传统的级联系统,但工程师已经设法证明了端到端直接语音到语音转换的可行性。

Translatotron通过结合扬声器编码器网络,可以在翻译的语音中保留原始扬声器的声音特征。这使得翻译的语音听起来自然而且不那么刺耳。根据Google AI团队的说法,Translatotron提供了比基线级联模型更准确的翻译,同时保留了原始扬声器的声音特征。

工程师得出结论,Translatotron是第一个端到端模型,可以直接将一种语言的语音翻译成另一种语言的语音,并可以在翻译的语音中保留源语音的声音。

要了解有关此新闻的更多信息,请查看Google AI的博文。

论文PDF版可以到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2019年资料/5月/18日/Google AI工程师介绍Translatotron/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址:https://www.linuxidc.com/Linux/2019-05/158728.htm

linux Racket 7.3 发布,改进了Racket-on-Chez,重构的IO系统等等 思科报告Nexus 9000数据中心交换机,PI软件和EPN管理器中的严重漏洞
友情链接
  • Mozilla开源语音收集计划Common Voice,正式支持汉语普通话
  • D9VK 0.11 发布,性能改进及D3D9修复
  • WSL Arch Linux已正式登陆Microsoft Store应用商店
  • KDE Applications 19.04 开源软件套件获得第一点发布
  • GNU调试器 GDB 8.3 发布及安装更新,支持RISC
  • PostgreSQL 12 发布,性能改进与更好的服务器配置
  • OpenMandriva Lx 4.0将Python 2排除在其基本操作系统之外
  • GraalVM 19.0 发布,与Java 8se兼容的Java虚拟机
  • Linux 5.1.1 发布,几个修复
  • Linux 桌面年是否终于到来了?
  • Wine
  • IWD 0.18 发布,无线守护进程
  • Android Studio 3.5 Beta 发布,性能优化改进
  • Fedora 31提供更新的MinGW工具链,用于在Linux上构建Windows软件
  • Firefox和GNOME最终可以在Linux 5.2的AFS文件系统上运行
  • Vulkan 1.1.108 发布,两个新的扩展
  • DifferentialEquations.jl v6.4.0 发布,用于微分方程高性能求解
  • RHEL 8发布后,用户等待CentOS 8的推出
  • Libinput 1.13.2 发布,为苹果TouchPad提供更好的手指检测功能
  • GTK 3.96 发布,作为向GTK 4.0迈进的又一步
  • Phoronix Test Suite v8.8.0m3 发布,开源基准测试
  • CentOS 8.0作为Red Hat Enterprise Linux 8.0社区版重新构建的进
  • GNOME 3.32.2桌面环境发布,最新的bug和安全修复
  • LWJGL 3.2.2 发布,针对Vulkan 1.1和其他新包的更新
  • Mesa 19.0.4 发布,许多RADV, RadeonSI和Intel修复
  • Krita 4.2 Alpha带来性能改进,其他数字绘画增强功能
  • 英特尔为BFloat16添加GCC 10和LLVM Clang 9编译器支持
  • ZFS On Linux 0.8
  • 适用于Ubuntu手机的Ubuntu Touch OTA
  • Kaidan作为Jabber/XMPP聊天客户端加入KDE
  • Google在Chrome中发布新的Cookie控件,改善用户隐私
  • 微软开源PowerToys,计划推出Windows 10版本
  • Linux内核将很快默认情况启用“
  • 由于证书问题,Mozilla延迟Firefox 67推出
  • Radeon ROCm 2.4 发布,兼容TensorFlow 2.0
  • Wine 4.8采用Unicode 12.0更新,更好地支持操纵杆
  • Google宣布Kotlin为Android应用程序开发的首选语言
  • 面向Windows 10的Chromium Microsoft Edge Beta泄露
  • KDE Plasma 5.16推出重写的通知系统
  • 币安交易所被黑客入侵,超过7000比特币被盗
  • Vivaldi 2.5 发布,世界上第一个与Razer Chroma集成的Web浏览器
  • Debian 10 “Buster” 目前在GNOME默认使用Wayland,但仍有可能
  • Linux 5.2中的XFS获得“大量新东西”
  • Firefox 66.0.5发布,包含针对扩展Bug的更多修复
  • Unity 2019.2 Beta 发布,带来许多Linux和Vulkan补丁
  • qBittorrent 4.1.6发布! 如何在Ubuntu 18.04中安装它
  • Linux新闻 第971页
  • MongoDB 日志切割三种方式
  • 网上轮盘
  • ag迅游
  • 11选5缩水软件超强版
  • 老时时彩360
  • best365
  • 江苏快3直播