arXiv cs.AI· Fabian Gr\"oger, Petar Damjanovi\'c, Maria Brbi\'c·· 3 天前AI 评分29
COMPASS：在对齐或合并前评估模型兼容性的诊断评分
To Align or Not To Align: Check Your COMPASS Before You Train
AI 导读
研究者提出 COMPASS（COMPatibility ASsessment Score），可在对齐或合并前估计模型对是否兼容，将兼容性拆解为两个低成本计算轴：编码器间的 k-NN 重叠度（pair-specific ease）与训练范式允许的最大重叠上限（paradigm-level ceiling）。
正文 · AI 翻译
摘要：组合预训练模型是构建 AI 系统的常见策略，无论是将视觉编码器与语言模型对齐，还是合并微调后的检查点。然而，寻找兼容的模型对通常需要昂贵的经验性搜索，因为只有在对齐或合并之后才能知道兼容性。我们提出 COMPASS（COMPatibility ASsessment Score，兼容性评估分数），一种有理论依据的诊断方法，可在对齐或合并之前估计一对模型是否兼容。基于表征收敛在局部邻域层面最为稳健这一观察，COMPASS 将模型兼容性分解为两个计算成本低廉的维度：一个特定于模型对的难易度，定义为两个编码器之间的 $k$-NN 重叠度；以及一个范式级上限，刻画其训练范式所允许的最大重叠度。这两个维度共同给出了候选模型对的排序，并规定了如何对每一对模型采取行动：(i) 优先选择已经一致且范式兼容的模型对，(ii) 对范式兼容但初始一致性较低的模型对投入额外算力，(iii) 当预训练范式无法支持足够的一致性时切换该范式，或 (iv) 降低在两个维度上得分都较差的模型对的优先级。我们将 COMPASS 应用于 $72$ 个跨模态对齐实验和 $392$ 个任务算术模型合并，结果表明 COMPASS 的兼容性估计与下游成功高度相关，在跨模态对齐任务上平均皮尔逊相关系数为 $0.91$，在模型合并上为 $0.70$。
| Comments: | NeurIPS 2026 camera-ready |
| Subjects: | Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Machine Learning (cs.LG) |
| Cite as: | arXiv:2610.18638 [cs.AI] |
| （或 arXiv:2610.18638v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18638 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Fabian Gröger [查看邮箱]
[v1]
2026年10月13日星期二 16:09:18 UTC（721 KB）
来源：arXiv cs.AI · arxiv.org