arXiv cs.AI· Nikos Giakoumoglou, Paschalis Giakoumoglou, Andreas Floros, Kleanthis Marios Papadopoulos, Tania Stathaki·· 14 小时前AI 评分26
合成硬负样本为何在视觉-语言预训练中有效？SNAP 方法解析
What Makes Synthetic Hard Negatives Work in Vision-Language Pretraining?
AI 导读
研究分析六种表征空间合成策略后，提出 SNAP 方法生成模态内硬负样本，完全避免涉及任一模态的正样本，从而规避跨模态构造负样本过易或拉向查询、模态内构造混入匹配正样本两种失败模式。
正文 · AI 翻译
摘要：在表示空间中生成的合成难负样本已被证明对单模态自监督学习有效，但将这一思路迁移到视觉-语言预训练中并不简单。我们分析了六种表示空间合成策略，并识别出它们迁移到视觉-语言预训练时的两种失效模式：跨模态构造会产生过于简单的负样本，或将其拉向查询；模态内构造则会纳入匹配的正样本。我们还观察到，在使用合成难负样本和可学习温度进行训练时会出现 logit 尺度饱和，并发现固定温度可以提升下游性能。基于这一几何分析，我们提出 SNAP，它生成模态内难负样本，且从不涉及来自任一模态的正样本，从而完全避免这两种失效模式。SNAP 与模型无关，无需外部生成模型，训练时间开销低于 10%。在多种架构和数据集上基于 CLIP 和 FLIP 进行评估，SNAP 在零样本检索、零样本分类和线性探测评估上均带来一致的提升。
| 评论： | ACCV 2026 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.09700 [cs.CV] |
| （或 arXiv:2610.09700v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.09700 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nikos Giakoumoglou [查看邮箱]
[v1]
2026年10月7日 星期三 08:58:57 UTC (1,498 KB)
[v2]
2026年10月26日 星期一 11:44:50 UTC (1,720 KB)
来源：arXiv cs.AI · arxiv.org