arXiv cs.AI· Zirong Xie, Zainab Afolabi, Nikita Kozodoi, Jack Butler·· 10 小时前AI 评分34
模型合并不要求统一的 LoRA 秩
Model Merging Does Not Require Uniform LoRA Ranks
AI 导读
研究显示，模型合并不必让所有专家使用相同 LoRA 秩：在数学、指令跟随、多语言三个领域、四种秩与三种模型规模共 36 个专家上测试，按各领域最优秩合并时，平均法与效用选择法精度不降反升最多 1.8 pp，而冲突消解类方法表现不稳定、最多损失 4 pp。
正文 · AI 翻译
摘要：模型合并将分别微调的专家合并为单一模型，无需重新训练。标准做法是以相同的 LoRA 秩训练每个专家，这会将秩的选择在专家之间耦合起来，尽管每个领域都有其自身的最佳秩。我们证明这种耦合是合并方法的性质，而非合并本身的性质。我们在三个领域（数学、指令遵循、多语言）以四种秩和三种模型规模训练了 36 个专家，然后用六种方法在统一秩和每个领域自身最佳秩下进行合并。为专家分配不同的秩对平均法和基于效用的选择法没有任何损失，并使其多领域准确率提升最多 1.8 个百分点，而冲突解决方法则表现不一致，可能损失最多 4 个百分点。这种分裂有一个简单的原因。合并只保留池化谱成分的固定份额，而按大小选择这些成分的方法会丢弃许多本可降低损失的成分。它们还倾向于丢弃同一个专家：指令适配器具有最小的奇异值，因此几乎被完全丢弃，IFEval 下降 16 至 25 个百分点。而按其对损失的影响选择成分则保留了所有三个专家，并使准确率在 8$\times$ 秩范围内几乎持平（0.7 个百分点，而 TIES 在 4B 规模下为 6.7 个百分点）。因此，只要合并算子不按幅度进行选择，就可以为每个专家单独选择秩。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.06486 [cs.LG] |
| （或 arXiv:2611.06486v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.06486 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zainab Afolabi [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 13:26:44 UTC（82 KB）
来源：arXiv cs.AI · arxiv.org