arXiv cs.CL· Jasin Cekinmez, Addison J. Wu, Ryo Mitsuhashi, Linrong Cai, Xingyu Fu, Zhuang Liu·· 6 天前AI 评分31
OccludeBench：VLM 能否找出图中缺失的物体？
OccludeBench: Can VLMs Find What's Missing?
AI 导读
研究团队提出 OccludeBench 基准，用于评测视觉语言模型（VLM）从残留视觉线索中还原被完全遮挡物体的能力，并区分需依赖阴影、倒影等物理线索的"直接"案例与依赖场景上下文的"推断"案例。
正文 · AI 翻译
摘要：视觉语言模型（VLM）能在多大程度上推理出图像中缺失的内容？我们通过 OccludeBench 研究这一问题，这是一个人工整理的基准，用于从残留的视觉证据中恢复被完全遮挡的物体。OccludeBench 区分直接案例和推理案例：直接案例中，隐藏物体必须从特定的物理线索（如阴影或反射）中恢复；推理案例中，隐藏物体可以从更广泛的场景上下文中推断出来。在五个 VLM 上，直接案例的平均准确率为 42.7%，而推理案例为 62.7%，呈现出 20.0 个百分点的差距。人类在直接和推理图像上的准确率分别为 63.4% 和 68.5%，没有显著差距。为了定位这一失败，我们引入了 OccludeTrace，一个四阶段诊断方法，用于隔离视觉推理过程在何处中断。瓶颈出现在模型必须从完整图像中的投影恢复相关物体时：它们在仅 50% 的失败示例上成功，而在它们正确回答的示例上成功率为 91%。扩展推理、工具使用和少样本提示带来的改进不一致，且无法可靠地消除这一差距。相比之下，一种先修复再面对（inpaint-then-confront）干预方法，即提示模型首先生成一个候选隐藏物体，然后根据可见的物理线索评估该假设，将两个具备图像生成能力的模型的差距缩小到统计上不显著的程度。总之，我们的结果建立了一个可处理、受控的诊断方法，用于隔离 VLM 如何推理图像中缺失的视觉内容。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13790 [cs.CV] |
| （或 arXiv:2610.13790v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13790 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Addison J. Wu [查看电子邮件]
[v1]
2026年10月9日星期五 16:04:54 UTC（7,190 KB）
来源：arXiv cs.CL · arxiv.org