arXiv cs.CL· Chenyang Le, Pei Zhang, Yuxiang Chen, Bing Han, Derek F. Wong, Baosong Yang, Yanmin Qian·· 11 小时前AI 评分31
CRESiST：面向同声传译的自增强探索式策略学习框架
CRESiST: Self-Enhancing Explorative Policy Learning for Simultaneous Speech Translation
AI 导读
CRESiST 提出一种基于全模态 LLM 的端到端读写交错同声传译框架，通过交错语音块与文本 token 实现完整 KV cache 复用，原生支持无分段、无限长度推理。
正文 · AI 翻译
摘要：同声传译（SimulST）需要在翻译质量与延迟之间取得平衡。尽管大语言模型（LLM）在离线翻译中表现出色，但当前基于 LLM 的 SimulST 系统主要依赖前缀增量生成。这一范式存在键值缓存重复计算的问题，并且需要外部语音活动检测来处理无界流。为克服这些瓶颈，我们提出了一种基于全模态 LLM 的端到端交错读写框架。通过将语音块与文本 token 交错排列，我们的架构实现了完整的 KV 缓存复用，原生支持无分段的无限长度推理。此外，为在不依赖刚性离线对齐的情况下学习最优流式策略，我们引入了一种新颖的 Actor-Critic 自我增强流程。RNN-T Actor 动态采样读写轨迹，而基于 LLM 的 Critic 通过内在语义与延迟奖励评估这些路径，并将最优策略蒸馏回 Actor。在句子级（FLEURS、CoVoST2）和文档级（MuST-C、ACL 60/60）基准上的大量实验表明，我们的模型建立了新的最先进质量-延迟帕累托前沿，显著优于现有的级联和静态对齐基线。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2611.06501 [cs.CL] |
| （或 arXiv:2611.06501v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06501 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenyang Le [查看邮箱]
[v1]
2026年11月4日星期三 13:32:57 UTC（2,926 KB）
来源：arXiv cs.CL · arxiv.org