arXiv cs.CL· Di Wu, Shuaidong Pan·· 12 小时前AI 评分31
GRAM：基于子空间对齐的分组秩感知模型合并方法
GRAM: Group-wise Rank-Aware Model Merging via Subspace Alignment
AI 导读
研究者提出分组秩感知模型合并方法 GRAM，利用任务向量之间的主角度几何关系判断哪些任务应合并，再在每组内执行标准 SVD 合并，合并时仅需微调权重。仅增加一个模型（K=2）时，GRAM 显著缓解子空间干扰，在 GLUE（Flan-T5）、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的四个中英文医疗 LoRA 指令微调上均优于此前合并方法。
正文 · AI 翻译
摘要：将不同模型合并为单一模型对于多任务部署非常理想，尤其是在医疗等受监管领域。在此类场景中，由于严格的数据隐私政策，模型通常会在本地进行微调，因此聚合操作只能基于微调后的权重进行。现有方法对所有任务采用统一的合并方式，忽略了它们所学子空间之间的几何关系。当任务更新占据未对齐的子空间时，将它们投影到共享的低秩基上会丢弃与任务相关的方向，这种失效模式被称为\emph{子空间干扰}。通过本研究，我们表明合并模型的逐任务投影误差由每个任务与共享子空间之间的主角对齐程度决定，因此将几何上兼容的任务分组可证明能在各组内降低该误差。受此观察启发，我们提出\textbf{分组式秩感知模型合并（GRAM）}，它利用任务向量的主角几何来决定哪些任务应合并在一起，然后在每个联盟内执行标准的基于 SVD 的合并；该流程在合并时仅需微调后的权重。仅需额外增加一个模型（$\nK{=}2$），GRAM 就能显著缓解子空间干扰，并在语言理解（使用 Flan-T5 的 GLUE）、8 任务 CLIP 视觉以及医疗指令微调（Qwen2-7B-Instruct 搭配四个中英文医疗 LoRA）上持续优于先前的合并方法。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29110 [cs.AI] |
| （或 arXiv:2610.29110v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuaidong Pan [查看电子邮件]
[v1]
2026年10月21日星期三 02:50:46 UTC（11,262 KB）
来源：arXiv cs.CL · arxiv.org