arXiv cs.CL· Yeonju Kim, Bella Godiva, Se Jin Park, Yong Man Ro·· 11 小时前AI 评分55
论文分析全双工语音模型为何在长对话中崩溃
Why Full-Duplex Speech Models Collapse in Long Conversations
AI 导读
论文提出 FD-LHB 基准，在长回放对话和与 LLM 实时对话中测试五个近期全双工语音模型，发现每个模型最终都会退化或耗尽上下文窗口。
正文 · AI 翻译
摘要：全双工语音模型能够同时聆听和说话，这使其在自然、开放式对话中颇具前景。但它们能否维持长达数十分钟的连贯对话？由于它们每一帧都会生成一个 token，即使在聆听时也是如此，因此会在几分钟内耗尽上下文窗口。然而，现有基准只评估单轮或少数几轮对话，时间太短，无法暴露长时程问题。我们提出了全双工长时程基准（FD-LHB），在长时回放对话以及与 LLM 伙伴的实时对话中测试了五个近期的全双工模型。每个被评估的模型最终要么性能退化，要么耗尽上下文。保留完整历史的模型往往在上下文耗尽之前就已退化，而滑动窗口模型仍会陷入重复、沉默和乱码。对于滑动窗口模型，我们识别出两个促成机制。乱码和沉默与初始化锚点驱逐（Initialization-Anchor Eviction）有关，即滑动窗口丢弃了第一个 KV 条目。重复还会被模型自身近期的输出所强化。在这一诊断的指导下，我们应用了两项简单的修复：初始化锚点固定（IAP）保留该第一个条目，双工重复惩罚（DRP）抑制回声，同时防止长时间沉默。二者共同支持了该诊断，并且无需重新训练，即可在实时运行的同时，在长达一小时的对话回放中大幅减少对话崩溃。
| 评论： | 预印本。31 页，16 幅图，18 张表 |
| 主题： | 计算与语言（cs.CL）；声音（cs.SD） |
| 引用为： | arXiv:2610.32349 [cs.CL] |
| （或 arXiv:2610.32349v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.32349 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：YeonJu Kim [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 08:43:45 UTC（2,044 KB）
来源：arXiv cs.CL · arxiv.org