X-Dubbing：受时间与视觉约束的语音翻译

Jeongsoo Choi 等作者提交论文，提出 X-Dubbing 方法，把跨语言配音建模为时间感知语音翻译与视频感知语音合成的联合问题。该方法由 Dubbing Translator 生成带时间结构的脚本，再由 Voice Actor 同步渲染，两个组件共享与语言无关的时间预算。 作者称，该方法无需配对配音数据，两个组件分别基于语音-文本数据和单语音视频数据训练，并利用合成语音的配音反馈优化翻译器。实验显示，其在等时性和音视频一致性等多项指标上优于近期基线。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。