arXiv cs.CL· Haotian Tan, Hiroki Ouchi, Sakriani Sakti·· 14 小时前AI 评分29
SimPOTrans:用强化学习让离线语音翻译模型自适应同传
SimPOTrans: Self-Adaptation for Offline-to-Simultaneous Speech Translation via Reinforcement Learning
AI 导读
SimPOTrans 是一个强化学习框架,通过两阶段 RL 后训练让离线语音翻译模型自适应对话式同传,无需合成读写轨迹或显式延迟优化。推理时无需外部决策策略,仅调整语音输入 chunk size 即可灵活控制质量与延迟的权衡。在 ACL 60/60 和 MCIF 基准的 En→De、En→Zh、En→Ja 三个方向上,该方法优于多个强基线,取得更优的质量—延迟权衡。
正文 · AI 翻译
摘要:同步语音翻译(SimulST)旨在以低延迟翻译正在进行的语音,同时保持翻译质量。近期研究采用大语言模型(LLM)进行 SimulST,并将其表述为多轮对话任务以实现高效生成,取得了最先进的性能。然而,现有的对话式 SimulST 方法通常依赖专门的训练方案来获得同步翻译行为,要么使用合成的读/写轨迹,这可能提供次优的训练信号,要么联合优化翻译质量和延迟,其相互竞争的目标可能导致优化不稳定。在本文中,我们提出了 SimPOTrans,一个强化学习(RL)框架,使离线语音翻译模型能够自适应对话式 SimulST。通过简单的两阶段 RL 后训练流程,SimPOTrans 在给定部分语音输入时奖励离线模型表现出有利于同步场景的翻译行为,从而在无需合成读/写轨迹或显式延迟优化的情况下实现离线到同步的自适应。在推理时,SimPOTrans 不需要外部决策策略,并可通过简单调整语音输入的分块大小实现灵活的质量—延迟控制。在 ACL 60/60 和 MCIF 基准上针对三个语言方向(En$\rightarrow$De、En$\rightarrow$Zh 和 En$\rightarrow$Ja)的实验表明,SimPOTrans 优于多个强基线,实现了更优的质量—延迟权衡。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.35042 [cs.CL] |
| (或 arXiv:2610.35042v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.35042 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Haotian Tan [查看电子邮件]
[v1]
2026年10月26日星期一 08:54:00 UTC(181 KB)
来源:arXiv cs.CL · arxiv.org