arXiv cs.CL· Jeongsoo Choi, Junseok Ahn, Joon Son Chung·· 11 小时前AI 评分29
DIAL-S2ST：为同声传译语音模型学习推理时延迟控制
DIAL-S2ST: Learning Latency Control for Simultaneous Speech-to-Speech Translation
AI 导读
DIAL-S2ST 是一种面向同声语音翻译模型的训练后方法，通过从 lookahead 预测自蒸馏复用预训练翻译能力，无需配对目标数据或奖励计算即可监督更早输出。该方法跨规模联合训练单个 LoRA 适配器并配合匹配的 lookahead 引导，使延迟可在推理时调节。在 Hibiki 上的法译英实验显示，仅 10 小时源语音即可完成适配，实现质量与延迟的灵活权衡。
正文 · AI 翻译
摘要：我们提出 DIAL-S2ST，一种用于在同声传译语音到语音翻译模型中学习推理时延迟控制的后训练方法。我们的方法通过从前瞻预测中进行自蒸馏来复用预训练的翻译能力，同时限制大型文本蒸馏损失的影响，以弥补模仿差距。这为更早的输出提供了监督，而无需配对目标数据或奖励计算。为了使学习到的时序在推理时可调，我们在匹配的前瞻引导下，跨不同规模联合训练单个 LoRA 适配器。在 Hibiki 上进行的法英翻译实验表明，仅需 10 小时的源语音即可实现这一适配，提供灵活的延迟控制，并具有良好的质量-延迟权衡。
| 学科： | 计算与语言（cs.CL）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.32214 [cs.CL] |
| （或 arXiv:2610.32214v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32214 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jeongsoo Choi [查看邮箱]
[v1]
2026年10月23日星期五 06:10:18 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org