arXiv cs.AI· Zidan Wang, Yaqian Li, Xiaokai Zhang, Kaiwen Long, Kun He, Hanpeng Liu·· 9 天前AI 评分22
重新审视 CLIP 后训练中的对比损失：一种冻结文本编码器的互补框架
Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
AI 导读
研究提出 ComCLIP，一种单轮轻量后训练方案，通过冻结 CLIP 文本编码器、采用合适温度 τ 的对比损失、MSE 锚定损失和 DINOv2 关系蒸馏损失训练视觉编码器。
正文 · AI 翻译
摘要：CLIP 是一个基础性的视觉-语言模型，也是 LLaVA 等下游 VLM 事实上的视觉编码器。后训练为改进 CLIP 提供了一条轻量级途径，但近期研究认为，标准对比损失不适合用于后训练，因为在小批量下会出现灾难性遗忘，这促使人们放弃对比目标，转而采用蒸馏。我们重新审视这一前提，发现对于 InfoNCE 目标而言，所报告的遗忘主要并非由负样本不足导致，而是由对比温度 $\tau$ 的取值不当所致：当 $\tau$ 设置得足够小时，对比后训练会改进而非降低预训练 CLIP 的性能，我们通过 InfoNCE 梯度的温度依赖性对此进行了解释。基于这一发现，我们提出 \textbf{ComCLIP}，一种轻量级单轮后训练方案，它冻结 CLIP 的文本编码器——因此改进后的视觉编码器可直接替换，架构和推理成本均不变——并使用适当温度的对比损失、针对原始 CLIP 的 MSE 锚定损失，以及来自 DINOv2 的关系蒸馏损失来训练视觉编码器。在多个随机种子下，ComCLIP 在零样本分类上达到与自蒸馏基线 CLIP-Refine 相当的水平，同时显著提升视觉特征的可迁移性，以线性探测衡量（ViT-B/16 上为 $48.99$ 对 $42.28$），在 ViT-L/14 上还将 MMVP 相比 CLIP-Refine 提升（$24.20$ 对 $19.01$）；CLIP-Refine 在图文检索上仍然更强。将 ComCLIP 作为即插即用视觉编码器用于 LLaVA-1.5-7B，且不重新对齐投影器或 LLM 时，在 $8$ 个 VLM 基准上总体没有变化，即该改进不会破坏下游兼容性。代码和模型见 此 https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11374 [cs.CV] |
| （或 arXiv:2610.11374v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11374 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanpeng Liu [查看邮箱]
[v1]
2026年10月8日星期四 07:06:58 UTC（1,291 KB）
来源：arXiv cs.AI · arxiv.org