SNAP：用模态内硬负样本改进视觉语言预训练

Nikos Giakoumoglou 等作者提出 SNAP 方法，用于在视觉-语言预训练中生成硬负样本。该方法生成模态内硬负样本，且不涉及任一模态的匹配正样本。 作者称，此前合成硬负样本有两条路径：跨模态构造容易过易或把负样本拉向查询，模态内构造则可能混入匹配正样本；SNAP 的设计意在同时避开这两种失败模式。这一结论来自作者对六种表征空间合成策略的分析。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。