arXiv cs.AI· Mahdi Mostajabdaveh, Zirui Zhou·· 10 小时前AI 评分34
视觉语言相似度中的空间关系失效：诊断与修复
Discarded or Unreachable? Diagnosing and Repairing Spatial Relation Failure in Vision--Language Similarity
AI 导读
研究诊断出对比视觉语言模型左右关系接近随机水平的两类成因：十款编码器中九款在原生图文相似度下无法访问池化向量中可线性解码的关系信息（访问失效），而池化在受控 C4 轨道上保留排列轴却丢失极性（池化失效）。
正文 · AI 翻译
摘要：对比式视觉-语言模型对左/右关系的评分接近随机水平，但这一症状有两个成因，需要相反的修复方式：关系可能在池化嵌入中仍然存在，却无法通过原生图文相似度触及；或者池化可能将其丢弃，而稠密特征仍保留它。在干净的双物体照片上，跨十个编码器，横向极性可从池化向量的翻转奇分量中以 0.77-0.99 的准确率线性解码，然而在百万条标题上搜索时，十个编码器中有九个在原生评分下仍处于随机水平：这是访问失败。在受控的 C4 轨道上，关系是唯一变化的因素，池化将排列轴保持在 0.998-1.000 并丢失其极性，而图块网格保留了极性：这是池化失败。两者都位于稠密特征的下游，因此一个读出即可覆盖两者。我们的零参数、查询条件化的空间矩从图块网格重新计算几何，并将其作为向量存储在原生嵌入旁边。在 118,287 张图像的索引上，它将针对反转几何负样本的左/右成对准确率从 0.51-0.53 提升到 0.81-0.96，并将 21 个类别匹配候选中的条件 R@1 从 0.05 提升到 0.37-0.75，每个批处理查询耗时不到一毫秒，同时对未指定关系的查询精确复现原生排序。
| 评论： | 代码、刺激生成器及所有结果文件：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05565 [cs.CV] |
| （或 arXiv:2611.05565v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05565 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | WACV 2027 |
提交历史
来自：Mahdi Mostajabdaveh [查看电子邮件]
[v1]
2026年11月3日星期二 19:57:57 UTC（182 KB）
来源：arXiv cs.AI · arxiv.org