arXiv cs.AI· Yanggan Gu, Shuo Cai, Zihao Wang, Wenjun Wang, Yuanyi Wang, Pengkai Wang, Sirui Huang, Su Lu, Jianmin Wu, Hongxia Yang·· 9 天前AI 评分24
FeatCal：面向模型合并后的特征校准方法
FeatCal: Feature Calibration for Post-Merging Models
AI 导读
FeatCal 通过逐层前向校准合并模型权重来缩小特征漂移，采用闭式解更新权重，无需梯度下降或额外模块。在 CLIP-ViT-B/32 Task Arithmetic 上达 85.5%，超过 Surgery 的 77.0% 和 ProbSurgery 的 78.8%；FLAN-T5-base GLUE 上为 85.2%。
正文 · AI 翻译
摘要：模型合并将多个任务专家合并为一个模型，避免了联合训练、重新训练或部署多个专家模型，但合并后的模型往往仍不如任务专家。我们通过特征漂移来研究这一性能差距，即合并模型与专家模型在相同输入下所产生特征之间的差异。我们的理论将这种漂移分解为上游传播和局部失配，按前向顺序追踪它如何传播并在后续层中组合，并将最终特征漂移与输出漂移联系起来。这一视角启发了 FeatCal，它使用一个小的校准集，按前向顺序逐层校准合并模型的权重，在减少特征漂移的同时保持与合并权重接近，并保留模型合并的优势。FeatCal 使用高效的闭式解来更新模型权重，无需梯度下降、迭代优化或额外模块。在主要的 CLIP 和 GLUE 基准上，FeatCal 优于 Surgery 和 ProbSurgery 这两个最接近的合并后校准基线：在 CLIP-ViT-B/32 任务算术（TA）上为 85.5% 对 77.0%/78.8%，在 FLAN-T5-base GLUE 上为 85.2% 对 83.7%/82.2%。在 CLIP-ViT-B/32 上，每个任务 8 个示例达到 82.9%，每个任务 256 个示例耗时 53 秒，比两个基线都快约 4 倍，显示出更好的样本效率和更低的校准成本。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.13030 [cs.LG] |
| （或 arXiv:2605.13030v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.13030 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yanggan Gu [查看电子邮件]
[v1]
2026年5月13日星期三 05:35:03 UTC（1,128 KB）
[v2]
2026年10月8日星期四 09:28:22 UTC（1,128 KB）
来源：arXiv cs.AI · arxiv.org