arXiv cs.CL· Khang Nhat Hoang Vo, Belal Shoer, Abhirama Subramanyam Penamakuri·· 14 小时前AI 评分24
邻居的低语：重新审视标题共识作为视觉-语言检索的推理时证据
Whispers from the Neighbors: Rethinking Caption Consensus as Inference-Time Evidence for Vision-Language Retrieval
AI 导读
冻结编码器在推理时融合图像相似度与图像自身标题的相似度，在九个冻结编码器上使文本到图像 R@1 提升 3.4 至 16.8 点，前提是标题与查询来自同一标注者。
正文 · AI 翻译
摘要：一张图像很少只被描述一次。检索基准和许多数据集都会为每张图片附上多条说明文字，但双编码器在判断时仍将每个图文对孤立看待。我们探究：当冻结的编码器在推理时参考这些相邻说明文字，它们能带来什么贡献。当说明文字与查询来自同一批标注者时，将图像相似度与图像自身说明文字的相似度融合，可使九个冻结编码器的文本到图像 R@1 提升 3.4 至 16.8 个百分点。当说明文字由现成的图像描述生成器撰写时，增益降至 1.9 至 7.2 个百分点；当它们来自不同的标注来源时，增益至多一个百分点；经释义训练的文本编码器会进一步增强文本一侧。一种自然的改进——对说明文字未能解释的图像部分进行评分——在留一法评估下似乎能带来更大的提升。我们表明，这一优势之所以出现，是因为正确候选的支持集与负候选的支持集构建方式不同，其中集合大小和查询移除各贡献约一半；并且在固定支持索引下，残差归结为对说明文字已提供信息的重新加权。在组合性基准上，说明文字通过将候选与人类对图像的描述相匹配来提供帮助，但并未改善图文对齐。代码可在以下地址获取：this https URL
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33798 [cs.CV] |
| （或 arXiv:2610.33798v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33798 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Khang Vo Hoang Nhat [查看邮箱]
[v1]
2026年10月24日星期六 16:59:25 UTC（7,497 KB）
来源：arXiv cs.CL · arxiv.org