arXiv cs.AI· Shiting Wang, Yingjie Zou, Ke Li·· 10 小时前AI 评分30
CUSD：分离共同与独特方向的无数据模型合并方法
Separating Common and Unique Directions for Model Merging
AI 导读
研究者提出无数据预合并方法 Common–Unique Subspace Decomposition（CUSD），将任务向量拆分为跨任务共享的低分散共同分量与高分散的任务主导独特残差，共同分量交由下游算术算子合并、独特残差单独保留。
正文 · AI 翻译
摘要：模型合并无需额外训练即可将多个微调模型组合起来，而算术方法已成为一种简单而有效的无数据模型合并方式。然而，现有算术方法在参数空间中处理任务向量，并对可能具有不同可合并性的方向应用单一逐元素规则。在共享的方向基中，我们发现了一致的两区制结构：一个是跨任务共享的低离散度公共主体，另一个是承载不成比例能量的高离散度任务主导尾部。这些发现促成了公共—独特子空间分解（CUSD），这是一种无数据的预合并方法，它将任务向量分离为公共和独特的方向分量，用下游算术算子合并公共分量，并单独保留独特残差。在 $11$ 个基础模型、四个模型家族和四种基于算术的合并算子上的实验表明，CUSD 在 44 个模型—算子组合中的 42 个上取得提升，相比相应基线最高提升 22.5%。我们的代码已公开于 此 https URL
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.04108 [cs.LG] |
| （或 arXiv:2611.04108v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.04108 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shiting Wang [查看邮箱]
[v1]
2026年11月3日星期二 00:32:11 UTC（1,000 KB）
[v2]
2026年11月4日星期三 10:47:34 UTC（1,000 KB）
来源：arXiv cs.AI · arxiv.org