arXiv cs.CL· Shashi Kumar, Esa\'u Villatoro-Tello, Sergio Burdisso, Kadri Hacioglu, Thibault Ba\~neras-Roux, Hasindri Watawana, Dairazalia Sanchez-Cortes, Srikanth Madikeri, Petr Motlicek, Andreas Stolcke·· 11 小时前AI 评分20
面向 LLM 语音识别的对话音频上下文抽象压缩
Abstract Compression of Conversational Audio Context for LLM-based ASR
AI 导读
研究提出 Abstract Compression，将前序轮次的音频序列压缩为固定数量的 latent token 并显式保留对应转写文本，以降低 LLM-based ASR 使用对话上下文的开销。经监督多轮训练后，对话上下文主要帮助识别上下文实体；在域内和域外测试集上，压缩模型以更小的前序音频占用恢复了部分原始上下文条件带来的增益。论文已被 IEEE SLT 2026 接收。
正文 · AI 翻译
摘要：标准的基于 LLM 的语音识别系统孤立地处理每句话语，限制了其利用对话上下文的能力。本文研究来自先前轮次的多模态上下文能否提升基于 LLM 的 ASR，以及如何高效地表示该上下文。我们发现，经过有监督的多轮训练后，对话上下文主要有助于上下文实体的识别。然而，以原始上下文为条件代价高昂，因为先前轮次的音频嵌入序列会随对话长度迅速增长。为解决这一问题，我们提出抽象压缩（Abstract Compression），即对先前轮次音频的学习式潜在抽象，用固定数量的潜在 token 替换每个先前轮次的音频序列，同时显式保留对应的转写文本。在域内和域外测试集上，启用压缩的模型以更小的先前轮次音频占用恢复了原始上下文条件的一部分增益。我们还对压缩设置及其权衡进行了针对性分析。
| 评论： | 7 页；已被 IEEE SLT 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2603.26246 [cs.CL] |
| （或 arXiv:2603.26246v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.26246 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shashi Kumar [查看邮箱]
[v1]
2026 年 3 月 27 日星期五 10:09:30 UTC（1,818 KB）
[v2]
2026 年 10 月 20 日星期二 16:12:39 UTC（1,860 KB）
来源：arXiv cs.CL · arxiv.org