arXiv cs.CL· Mohan Shi, Zilai Wang, Natarajan Balaji Shankar, Kaiyuan Zhang, Eray Eren, Abeer Alwan·· 6 天前AI 评分22
通过 Adapters 唤醒编码器：Speech-LLM 的有效领域自适应微调
Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs
AI 导读
研究者提出 EAVA（Encoder Awakening via Adapters），一种面向 Speech-LLM 语音识别的领域自适应微调方法：先在各编码器层插入轻量 adapter 并单独训练，再对 LLM 应用 LoRA 联合微调全模型。
正文 · AI 翻译
摘要：语音大语言模型（Speech-LLM）通常由预训练语音编码器、模态投影器和经低秩适配器（LoRA）微调的 LLM 构建而成，在通用领域语音上展现出强大的自动语音识别（ASR）性能。然而，在目标领域数据有限的情况下，将其适配到领域偏移的语音（如儿童语音或方言语音）仍具挑战性。鉴于 LLM 在 Speech-LLM 中的主导作用，且交叉熵损失仅施加于 LLM 输出端，语音编码器可能对新声学条件的适配不足。本文提出 Encoder Awakening via Adapters（EAVA），一种简单而有效的、面向基于 Speech-LLM 的 ASR 的领域自适应微调方法。首先，将轻量级适配器插入每个编码器层并仅对其进行训练，使目标领域声学知识得以融入编码器，同时保留其预训练知识。其次，在目标领域上对完整模型进行联合微调，并对 LLM 应用 LoRA。在涵盖儿童语音和方言语音的三个领域偏移 ASR 数据集上的实验表明，EAVA 持续优于普通微调和其他基线，达到了新的最先进性能。
| 评论： | IEEE SLT 2026 的最终稿（图 1 已修订） |
| 主题： | 音频与语音处理（eess.AS）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.17981 [eess.AS] |
| （或 arXiv:2609.17981v2 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.17981 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohan Shi [查看电子邮件]
[v1]
2026 年 9 月 16 日星期三 01:10:37 UTC（922 KB）
[v2]
2026 年 10 月 8 日星期四 18:19:54 UTC（922 KB）
来源：arXiv cs.CL · arxiv.org