arXiv cs.CL· Jeongsoo Choi, Ji-Hoon Kim, Junseok Ahn, Joon Son Chung·· 11 小时前AI 评分38
X-Dubbing：在时间与视觉约束下的语音到语音翻译
X-Dubbing: Speech-to-Speech Translation under Temporal and Visual Constraints
AI 导读
X-Dubbing 将跨语言配音建模为时间感知语音翻译与视频感知语音合成的联合问题，由 Dubbing Translator 生成带时间结构的脚本、Voice Actor 同步渲染，二者共享语言无关的时间预算。该方法无需配对配音数据，两个组件分别基于语音-文本和单语音视频数据训练，并利用合成语音的配音反馈优化翻译器。实验显示其在等时性和音视频一致性等多项指标上优于近期基线。
正文 · AI 翻译
摘要：跨语言配音旨在将源语音转换为与原始视频保持同步的目标语言语音。该任务的关键在于生成忠实且能在源时间轴内自然说出的译文，这并非易事，因为不同语言在时长、节奏和发音方式上存在差异。本文提出 X-Dubbing，将该任务建模为时间感知语音到文本翻译与视频感知文本到语音的联合问题。具体而言，我们的方法由配音翻译器（Dubbing Translator）和配音演员（Voice Actor）组成，前者生成具有时间结构的脚本，后者使其与源视频同步呈现，二者均以语言无关的时间预算为基础。我们进一步利用合成语音的配音感知反馈来优化翻译器，鼓励生成能够产生良好同步配音的脚本。该设计无需成对的配音数据，因为两个组件分别基于语音-文本数据和单语视听数据进行训练。大量实验表明，X-Dubbing 在等时性和视听对应性等多种指标上均优于近期基线。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.32042 [cs.CL] |
| （或 arXiv:2610.32042v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32042 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jeongsoo Choi [查看邮箱]
[v1]
2026年10月23日星期五 01:31:30 UTC（181 KB）
来源：arXiv cs.CL · arxiv.org