arXiv cs.CL· Yuan Xie, Jiaqi Song, Guang Qiu, Xianliang Wang, Ming Lei, Jie Gao, Jie Wu·· 6 天前AI 评分22
重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
Rethinking Entropy Allocation in LLM-based ASR: Understanding the Dynamics between Speech Encoders and LLMs
AI 导读
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界意识的多阶段训练策略。该方法在中文和英文基准上仅用 2.3B 参数即达到与 SOTA 模型相当的竞争力，同时通过解耦设计有效缓解模型幻觉。论文已被 NeurIPS 2026 主赛道接收。
正文 · AI 翻译
摘要：将大语言模型（LLM）集成到自动语音识别（ASR）中已成为主流范式。尽管近期基于 LLM 的 ASR 模型在公开基准上展现出良好性能，但在识别质量与延迟、开销之间取得平衡仍具挑战，而幻觉问题进一步限制了实际部署。在本研究中，我们从熵分配的角度重新审视基于 LLM 的 ASR，并引入三项指标来刻画训练范式如何在语音编码器与 LLM 之间分配熵减。为弥补现有方法中熵分配效率低下的问题，我们提出一种基于能力边界感知的原则性多阶段训练策略，优化参数效率与幻觉鲁棒性。具体而言，我们重新设计预训练策略以缓解语音-文本模态差距，并进一步在对齐与联合 SFT 之间引入迭代异步 SFT 阶段，以保持功能解耦并约束编码器表示漂移。在中文和英文基准上的实验表明，我们的方法仅用 2.3B 参数即可达到与最先进模型相当的性能，同时通过面向解耦的设计有效缓解幻觉。
| 评论： | 已被 NeurIPS 2026 主赛道接收 |
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL）；声音（cs.SD） |
| 引用格式： | arXiv:2604.08003 [eess.AS] |
| （或本版本使用 arXiv:2604.08003v2 [eess.AS]） | |
| https://doi.org/10.48550/arXiv.2604.08003 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jiaqi Song [查看邮箱]
[v1]
2026年4月9日星期四 09:07:52 UTC（724 KB）
[v2]
2026年10月9日星期五 07:12:47 UTC（704 KB）
来源：arXiv cs.CL · arxiv.org