arXiv cs.CL· Pratik Ramesh, George Stoica, Arun Iyer, Leshem Choshen, Judy Hoffman·· 2 天前AI 评分24
解决跨任务干扰：面向模型合并的专家适配方法 RI
Learning Not To Interfere: Adapting Experts For Model Merging
AI 导读
研究者提出轻量适配框架 Resolving Interference（RI），通过将各专家模型解耦为与其他任务空间功能正交，降低模型合并中的跨任务干扰。RI 仅需无标注辅助数据即可应用，在数据稀缺场景下也能使用，将 SOTA 合并方法性能最高提升 3.8%，对未见域泛化最高提升 2.3%。该方法对辅助输入来源稳健，且对合并超参数调优的敏感度显著更低。
正文 · AI 翻译
摘要：模型合并表明，可以通过直接组合各自专精于相关任务的不同模型的参数来创建多任务模型。然而，在独立训练于不同任务的模型之间往往会出现干扰，从而降低合并模型的性能。为了解决这个问题，我们将跨任务干扰正式定义为合并模型相对于其组成模型的表示漂移。减少跨任务干扰是提升合并性能的关键。为此，我们提出了我们的方法——解决干扰（RI），这是一个轻量级适配框架，可将专家模型解耦为与其他任务空间在功能上正交，从而减少跨任务干扰。RI 在做到这一点的同时仅使用未标注的辅助数据作为输入（即不需要任务数据），使其能够应用于数据稀缺的场景。RI 将最先进合并方法的性能持续提升最多 3.8%，并将对未见领域的泛化能力提升最多 2.3%。我们还发现 RI 对辅助输入的来源具有鲁棒性，同时对合并超参数的调优显著不那么敏感。我们的代码库可在以下网址获取：this https URL
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2603.13467 [cs.LG] |
| （或 arXiv:2603.13467v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.13467 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Pratik Ramesh [查看电子邮件]
[v1]
2026年3月13日星期五 17:59:50 UTC（1,097 KB）
[v2]
2026年10月14日星期三 17:59:19 UTC（3,269 KB）
来源：arXiv cs.CL · arxiv.org