保留再扩展：面向多语言 LLM 语音识别的源感知适配与模型合并

Preserve to Expand: Source-Aware Adaptation and Model Merging for Multilingual LLM-Based ASR

AI 导读

研究在基于 connector 的 Speech LLM 中扩展多语言 ASR 时如何在不重放源语言数据的前提下保留原有语言能力。单目标扩展中，仅目标语言微调和标准 TIES 合并虽能学会新语言，却造成严重的源语言遗忘，SSU-Wanda+TIES 取得最佳的源语言保留权衡。多目标扩展中，更新合并可稳定保留源语言，而递归扩展在有利顺序下能改善目标适配，但对顺序高度敏感。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：当适配必须在不重放源语言训练数据的情况下保留先前支持的语言时，将多语言 ASR 系统扩展到新语言具有挑战性。我们在基于连接器的语音 LLM 中研究这一问题，其中可训练的连接器将语音表示映射到冻结的大语言模型中。我们评估了用于适配连接器同时保持源语言性能的目标更新构建与合并策略。在单目标扩展中，仅目标微调和标准 TIES 合并能够学习新语言，但会导致严重的源语言遗忘，而 SSU-Wanda+TIES 给出了最佳的源语言保持权衡。在多目标扩展中，更新合并提供了稳定的源语言保留，而递归扩展在有利顺序下可以改善目标适配，但对顺序高度敏感。这些结果表明，多语言 ASR 扩展需要在目标获取、源语言保留以及目标语言更新之间的交互之间取得平衡。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2610.35846 [cs.CL]
	（或 arXiv:2610.35846v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.35846 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Yuchen Zhang Dr [查看邮箱]
[v1] 2026年10月26日星期一 17:56:22 UTC（135 KB）

来源：arXiv cs.CL · arxiv.org