arXiv cs.CL· Zhisheng Zheng, David Harwath·· 10 小时前AI 评分34
TransDubber：学习保留时间线的语音到语音翻译
Learning Timeline-Preserving Speech-to-Speech Translation
AI 导读
TransDubber 是一个端到端自回归语音到语音翻译系统，可直接从对齐的目标波形中学习时间结构，无需推理时的帧级时间控制或事后时间校正。研究构建了 642K 条严格时长匹配的英中语音对，结合渐进式监督课程与验证器引导的强化学习。
正文 · AI 翻译
摘要：语音到语音翻译（S2ST）日益能够保留说话内容与声音特征，但不一定能保留语音和静音出现的时间。对于配音及其他具有时间约束的应用而言，仅匹配总时长并不够：语音和停顿还必须在对应时刻出现。我们提出时间线保持型 S2ST，旨在在共享的绝对时间线上保留源端点和显著的内部停顿。我们提出 TransDubber，一个端到端自回归系统，它直接从对齐的目标波形中学习这种时间结构，无需推理时的帧级时间控制或事后时间校正。为提供这种监督，我们通过在源定义的时间骨架上翻译并合成目标语音，构建了 642K 条时长精确匹配的英汉语音对。训练结合渐进式监督课程与验证器引导的强化学习，以平衡翻译质量和时间对齐。在涵盖朗读和自发语音的 4,353 条话语测试集上，与 UniSS 相比，TransDubber 将时长在源时长 2% 以内的翻译比例从 25.6% 提高到 61.5%，并将停顿对齐 F1 从 0.118 提高到 0.550，同时保持有竞争力的翻译质量。我们的分析表明，对齐监督建立了时间线跟随能力，而强化学习细化了时间精度，并部分抵消了严格同步带来的翻译质量损失。总之，这些结果证明了我们的数据和训练框架对于时间线保持型 S2ST 的有效性。音频样本、代码、数据集和预训练模型可在 此 https URL 获取。
| 评论： | 进行中 |
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2611.00690 [eess.AS] |
| （或 arXiv:2611.00690v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00690 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhisheng Zheng [查看电子邮件]
[v1]
2026年10月31日星期六 06:39:04 UTC（1,018 KB）
来源：arXiv cs.CL · arxiv.org