arXiv cs.AI· Longhua Li, Lei Qi, Qi Tian, Xin Geng·· 3 天前AI 评分22
面向多任务知识聚合的 Essential Subspace 数据感知模型合并
Data-Aware Model Merging in the Essential Subspace for Multi-Task Knowledge Aggregation
AI 导读
研究者提出数据感知的模型合并框架 ESD 与 ESM，通过代理数据识别每个任务更新中能量集中的主导方向（即 essential subspace），并按输出偏移特征值加权、跨任务正交化以减少干扰。ESM++ 进一步动态整合低秩任务专属残差专家实现自适应知识聚合。多任务集与多模型规模实验显示，ESM 与 ESM++ 能有效聚合任务知识并缓解任务间干扰，代码已开源。
正文 · AI 翻译
摘要：模型合并通过聚合从共享检查点微调而来的模型中的知识，实现免训练的多任务学习，但这些任务更新之间可能相互干扰。利用代理数据，我们发现任务更新会引起输出偏移，其能量集中在少数主导方向上，而许多低能量方向会跨任务累积并损害性能。我们将主导方向张成的空间称为本质子空间。这一观察促使我们提出一个数据感知框架，在保留本质任务知识的同时减少干扰。本质子空间分解（ESD）根据在代理数据上测得的激活偏移识别每个任务的本质子空间，并紧凑地表示其更新，同时保持功能行为。本质子空间合并（ESM）按每个任务更新方向对应的输出偏移特征值对其加权，从而优先考虑核心任务知识；随后对加权后的方向进行跨任务正交化以减少干扰。ESM++ 通过动态整合低秩任务特定残差专家来扩展该合并模型，以实现自适应知识聚合。在不同任务集和模型规模上的实验表明，ESM 和 ESM++ 能有效聚合任务知识，同时缓解任务间干扰。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.19164 [cs.LG] |
| （或 arXiv:2606.19164v4 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2606.19164 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Longhua Li [查看邮箱]
[v1]
2026年6月17日星期三 15:07:11 UTC（4,289 KB）
[v2]
2026年6月20日星期六 01:44:55 UTC（4,282 KB）
[v3]
2026年6月23日星期二 03:46:45 UTC（4,278 KB）
[v4]
2026年10月13日星期二 13:09:12 UTC（2,416 KB）
来源：arXiv cs.AI · arxiv.org