arXiv cs.CL· Guodong Du, Wanyu Lin·· 11 小时前AI 评分34
DiDi-Merging：动态模型合并的瘦身方案
Dynamic Model Merging Made Slim
AI 导读
DiDi-Merging 通过可微秩选择为共享参数与专家参数联合分配低秩容量，并进行无数据参数空间精修。在八任务 ViT-B/32 基准上，小型配置以单骨干 1.24 倍存储达到 89.3% 平均准确率（98.7% 归一化保留率），中型配置以 1.4 倍存储达到 89.8%。移除精修会使中型配置下降 4.3 个百分点，静态合并加均匀恢复的对照组比小型配置低 4.7-8.9 个百分点。
正文 · AI 翻译
摘要：模型合并可在无需联合训练或访问任务数据的情况下整合独立微调的检查点。动态方法保留任务特定容量，但必须在共享参数与专家参数之间分配有限的存储预算。我们提出 DiDi-Merging，通过可微秩选择为这些组件联合分配低秩容量，随后进行无数据参数空间精炼。在八任务 ViT-B/32 基准上，小配置在包含一个骨干网络在内的 1.24 倍存储下达到 89.3% 的平均准确率（98.7% 归一化保留率）；中等配置在 1.4 倍存储下达到 89.8%。移除精炼会使中等配置下降 4.3 个百分点，而静态合并加均匀恢复的对照比小配置低 4.7-8.9 个百分点。额外评估涵盖语言和多模态模型，采用各自报告的预算。主要结果假设任务身份已知；实际路由以及在固定容量下更大任务数量时的准确率仍是不同的评估问题。代码见 此 https URL。
| 评论： | 已被 NeurIPS 2026 接收的相机就绪版本。共 38 页，包括参考文献、附录和检查清单。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.18904 [cs.LG] |
| （或 arXiv:2605.18904v2 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.18904 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Guodong Du [查看邮箱]
[v1]
2026年5月17日星期日 13:36:53 UTC（1,155 KB）
[v2]
2026年10月20日星期二 11:53:13 UTC（1,040 KB）
来源：arXiv cs.CL · arxiv.org