arXiv cs.AI· Bang An, Yibo Yang, Philip Torr, Bernard Ghanem·· 11 小时前AI 评分29
PAVE：通过知识感知任务向量净化缓解模型合并冲突
Mitigating Model Merging Conflicts via Knowledge-Aware Task Vector Purification
AI 导读
研究者提出 PAVE，在知识感知子空间中净化任务向量以缓解模型合并冲突。该方法从各任务采样训练样本输入对应微调模型，获取线性层前的协方差矩阵并做面向上下文的奇异值分解，将权重拆分为任务相关与冗余部分后剪除冗余，同时引入谱秩分配策略优化归一化激活剪枝误差。PAVE 为即插即用方案，可适配多种基于任务向量的合并方法，实验覆盖多种合并方法、任务与模型架构。
正文 · AI 翻译
摘要：模型合并旨在将各个单独微调模型中的任务特定能力整合到一个模型中，而无需额外训练。在近期的模型合并方法中，任务向量已成为基本构建模块，因为它可以封装微调产生的残差信息。然而，由于任务向量中与任务无关的冗余所引发的冲突，合并后的模型往往会出现显著的性能下降。现有通过在参数空间中随机丢弃元素来克服冗余的努力涉及随机性，且缺乏知识感知。为应对这些挑战，本研究提出了知识感知子空间中的净化任务向量（PAVE）。具体而言，我们从每个任务中采样一些训练样本，将它们输入对应的微调模型，以获取线性层之前的协方差矩阵。然后，我们执行面向上下文的奇异值分解，突出与目标知识最相关的权重分量。因此，我们可以在知识感知子空间中将微调模型权重拆分为任务相关分量和冗余分量，并通过剪除冗余分量来净化任务向量。为在各模型间实现公平的剪枝力度，我们进一步引入了一种谱秩分配策略，通过优化归一化的激活剪枝误差来实现。我们的方法所进行的任务向量净化作为一种即插即用方案，适用于各种基于任务向量的合并方法，以提升其性能。在实验中，我们证明了 PAVE 在多种合并方法、任务和模型架构上的有效性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2510.14697 [cs.AI] |
| （或 arXiv:2510.14697v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2510.14697 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bang An [查看邮箱]
[v1]
2025年10月16日 星期四 14:02:57 UTC（351 KB）
[v2]
2026年10月20日 星期二 14:30:15 UTC（331 KB）
来源：arXiv cs.AI · arxiv.org