arXiv cs.AI· Antoni Buades, Jose-Luis Lisani·· 3 天前AI 评分22
Barycentric Anchored Search：仅用两个微调检查点的鲁棒模型合并方法
Barycentric Anchored Weight Search for Robust Model Merging
AI 导读
研究者提出 Barycentric Anchored Search，一种无需梯度训练、不增加推理成本的事后权重空间方法，仅用两个微调检查点即可提升视觉模型在分布偏移下的鲁棒性。
正文 · AI 翻译
摘要：我们提出重心锚定搜索（Barycentric Anchored Search），一种事后权重空间方法，用于在分布偏移下提升微调视觉模型，且无需额外梯度训练或增加推理成本。给定一个预训练初始化和两个在源数据集上微调的检查点，该方法构建重心候选权重，并沿连接每个候选与预训练模型的方向执行小规模无导数搜索。候选权重使用一个或多个分布外（OOD）数据集的小型验证子集进行选择；随后在所选模型的留出部分、其他 OOD 基准以及 ImageNet 验证集上评估所选模型，以量化鲁棒性-准确率权衡。该方法受基于单纯形的无导数优化启发，包括 Nelder-Mead 和 Torczon 多方向搜索，但专门针对神经网络权重合并的几何结构。与通常受益于许多微调检查点的 Model Soup 不同，也与应用固定几何合并的 Model Stock 不同，我们的方法仅使用两个微调检查点，并利用来自 OOD 数据的验证反馈迭代调整合并。使用 CLIP ViT-B/32 的实验表明，所提出的搜索显著提升了在留出 OOD 数据上的性能，包括 ImageNet-A、ImageNet-R 和 ImageNet-Sketch，同时保持 ImageNet 准确率具有竞争力。所得权重还改善了向候选选择期间未使用的 OOD 数据集的迁移，在我们的评估中优于原始微调检查点、朴素 model soups 和 Model Stock。这些结果表明，锚定权重空间中的轻量优化为固定权重平均规则、几何合并或单模型选择提供了一种实用替代方案。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.14017 [cs.LG] |
| （或 arXiv:2610.14017v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14017 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jose-Luis Lisani [查看电子邮件]
[v1]
2026年9月29日星期二 10:29:02 UTC（102 KB）
来源：arXiv cs.AI · arxiv.org