arXiv cs.CL· Carlos Carvalho, Francisco Teixeira, Thomas Rolland, Alberto Abad·· 10 小时前AI 评分31
模型合并在多域 ASR 适配中的潜力与局限：11 种算法在 10 个欧洲葡萄牙语域上的基准测试
Exploring the potential and limitations of Model Merging for Multi-Domain Adaptation in ASR
AI 导读
研究针对多域 ASR 基准测试了 11 种模型合并算法，覆盖 10 个欧洲葡萄牙语域，并评估域内准确率、分布偏移下的鲁棒性以及英语和多语言表现。作者提出基于 TSV-M 的新算法 BoostedTSV-M，通过奇异值增强缓解秩坍缩并提升数值稳定性。该方法在欧洲葡萄牙语上优于全量微调，同时以单一模型保留分布外泛化能力。
正文 · AI 翻译
摘要：模型合并是多任务训练的一种可扩展替代方案，它将多个专用模型的能力整合到一个单一模型中。这对于大型语音基础模型尤其具有吸引力，这类模型通常通过领域特定的微调进行适配，从而产生多个定制化的检查点，而当新数据可用时重复进行完整微调在计算上是难以承受的。在本工作中，我们研究了面向多领域 ASR 的模型合并，并对 10 个欧洲葡萄牙语领域的 11 种合并算法进行了基准测试，评估了域内准确率、分布偏移下的鲁棒性，以及英语和多语言性能。我们进一步提出了 BoostedTSV-M，这是一种基于 TSV-M 的新合并算法，通过奇异值提升来缓解秩崩溃并提高数值稳定性。总体而言，我们的方法在欧洲葡萄牙语上优于完整微调，同时在单一模型中保持了分布外泛化能力。
| 评论： | 已被 INTERSPEECH 2026 接收 |
| 主题： | 计算与语言（cs.CL）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2603.05354 [cs.CL] |
| （或 arXiv:2603.05354v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.05354 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Carlos Manuel Ferreira Carvalho [查看邮箱]
[v1]
2026年3月5日 星期四 16:34:24 UTC（65 KB）
[v2]
2026年10月30日 星期五 16:42:54 UTC（43 KB）
来源：arXiv cs.CL · arxiv.org