arXiv cs.CL· Junho Kim, CheHyun Lee, Donghun Kang, Youngho Cho, Dongwook Lee, Heeseung Kim, Sungroh Yoon·· 14 小时前AI 评分38
诊断并缓解全双工语音模型的长会话退化问题
Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models
AI 导读
研究提出闭环评测框架，对多个公开全双工语音模型进行长会话测试，发现响应能力、语音内容质量和音色一致性会随时间退化。为此提出基于自蒸馏的轻量 LoRA 适配训练框架，并引入双分辨率上下文（TRC）架构，将较早交互历史压缩为 key-value 表示。
正文 · AI 翻译
摘要：端到端全双工语音对话模型能够实现自然、实时的语音交互，支持打断、附和与重叠语音。此前的评估已考察了多种交互能力，并识别出跨对话轮次的一些退化模式。然而，模型行为在长时间会话中如何演变仍未被充分理解。在本工作中，我们通过系统刻画长会话退化并开发高效缓解方法来填补这一空白。我们引入了一个用于长会话稳定性的闭环评估框架，并将其应用于若干公开可用的全双工语音模型，揭示了响应性、语音内容质量和音色一致性随时间出现的退化。为缓解这种退化，我们提出了一种基于自蒸馏的轻量级 LoRA 适配训练框架，只需少量额外训练即可提升长会话稳定性。我们进一步引入双分辨率上下文（TRC）架构，在完整保留近期交互细节的同时，将较早的交互历史压缩为键值表示。我们在三种架构各异的模型上评估了我们的方法，考察长会话稳定性、信息保留和计算效率。在全部三个模型上，我们表明 LoRA 适配可缓解十分钟会话中的性能退化，而加入 TRC 可将这些增益扩展到训练会话长度之外，并将 KV 缓存增长减少 90% 以上。
| 评论： | 项目页面见 此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34991 [cs.CL] |
| （或 arXiv:2610.34991v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34991 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：JunHo Kim [查看邮箱]
[v1]
2026年10月26日星期一 08:03:01 UTC（953 KB）
来源：arXiv cs.CL · arxiv.org