arXiv cs.CL· Gyojin Han, Dong-Jae Lee, Changho Choi, Jongsuk Kim, Junmo Kim·· 11 小时前AI 评分38
CoAT：为大音频语言模型引入连续音频思考框架
Continuous Audio Thinking for Large Audio Language Models
AI 导读
研究者提出 Continuous Audio Thinking（CoAT）框架，为音频语言模型在生成回答前提供连续潜在工作空间来组织声学信息，并以音频专家蒸馏作为监督。
正文 · AI 翻译
摘要：大型音频语言模型（LALMs）在从语音转写到音乐分析等多种音频理解任务上展现出令人印象深刻的能力。然而，由于 LALMs 通常被训练为生成与文本对齐的响应，其隐藏状态会逐步被塑造成用于文本生成，而非用于保留声学信息。因此，音频所携带的多样声学内容，如语音细节、韵律、声音事件、情感和音高，会在这一过程中丢失，难以在响应中加以利用。我们提出了连续音频思考（CoAT），这是一个为音频语言模型配备连续潜在工作空间的框架，用于在生成响应之前组织声学信息，并以从音频专家处蒸馏作为基础。在思考空间内，模型在生成响应时可以利用专家蒸馏所提供的丰富声学信息。此外，所提出的连续思考块可以在单次预填充中处理，因此 CoAT 相比基线不需要额外的自回归解码成本。在三个 LALM（Qwen2-Audio、Qwen2.5-Omni-7B 和 Audio Flamingo~3）上，涵盖音频推理、音频理解、音乐分类、语音情感和语音转写的广泛基准套件上的性能提升证明了 CoAT 的有效性。进一步分析证实，辅助监督会从思考位置传播到模型的文本响应。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2606.18273 [cs.CL] |
| （或此版本的 arXiv:2606.18273v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.18273 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gyojin Han [查看邮箱]
[v1]
2026年6月5日星期五 11:38:30 UTC（370 KB）
[v2]
2026年10月22日星期四 19:36:21 UTC（370 KB）
来源：arXiv cs.CL · arxiv.org