DeepL Voice 上线 Aure 模型,实时翻译可传递语调与语速
DeepL wants real-time translation to finally capture sarcasm and mood shifts
DeepL 为 DeepL Voice 推出新模型 Aure,可将原说话人的语调、情绪、重音和语速带入目标语言。此前 DeepL Voice 基于对话开始时采集的固定语音样本生成译文语音,无法捕捉情绪变化或讽刺语气;Aure 则在对话过程中持续分析译文文本与原始音频。
DeepL Voice 的实时翻译即将听起来自然得多。该公司的新模型 Aure 能将原说话人声音中的语调、情感、强调和语速带入目标语言。此前,DeepL Voice 基于对话开始时采集的静态语音样本生成翻译语音。这意味着它无法捕捉情绪变化或讽刺语气。Aure 的工作方式不同,它会在对话进行过程中持续分析翻译文本和原始音频。
在训练过程中,DeepL 将声音身份、语音旋律和内容分离,使每个组成部分都能独立迁移到新语言中。强化学习可避免输出中带有口音。Aure 在 DeepL Voice 的在线会议、面对面交谈和 DeepL API 中自动运行。发布时,该模型支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语。
DeepL 于 9 月首次推出语音保留功能。今年 5 月,该公司裁减了约 250 个岗位,围绕更小规模、由 AI 驱动的团队进行重组,作为其所称成为“AI 原生”公司的一部分。DeepL 还收购了音频流媒体专业公司 Mixhalo 背后的团队,以增强其实时语音翻译能力。Block 也在追求类似目标,即捕捉语言之外的含义。该公司最近推出了Dessa,这是一个旨在直接从音频中检测情绪和讽刺的语音模型。
没有炒作的 AI 新闻——由人工精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
来源:The Decoder · the-decoder.com