arXiv cs.AI· Yue Zhang, Zun Wang, Han Lin, Yonatan Bitton, Idan Szpektor, Mohit Bansal·· 10 天前AI 评分41
SPATIALUNCERTAIN：VLM 能否识别不可靠空间观测（以及为何不能）？
Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)?
AI 导读
研究团队提出 SPATIALUNCERTAIN 评测框架，考察视觉语言模型在遮挡导致证据缺失、透视导致证据误导两种失效模式下能否判断当前视角是否可靠。在八个开源与闭源 VLM 上测试发现，模型行为并不跟随视觉证据的可靠性：证据消失时不会更谨慎，透视冲突下判断更多跟随投影外观而非未变的物理 3D 关系。
正文 · AI 翻译
摘要：空间推理基准通常评估视觉语言模型能否从视觉观察中得出正确答案。然而在真实的 3D 环境中，观察本身可能并不可靠：遮挡可能移除与任务相关的证据，而透视可能使可见的几何结构产生误导。因此，可靠的空间推理不仅仅要求正确回答问题。模型还必须评估其当前观察是否为该答案提供了充分且可信的证据。我们提出 SPATIALUNCERTAIN，一个用于研究视角依赖的观察不确定性的受控评估框架。我们研究两种互补的失败模式：由遮挡导致的证据缺失，以及由透视导致的误导性证据。我们进一步评估模型能否识别当前视角不可靠，并找出信息量更丰富的观察。在八个开源和闭源视觉语言模型中，我们发现模型行为并不随视觉证据的可靠性而变化。随着证据消失，模型并不会可靠地变得更加谨慎；在透视冲突下，它们的判断越来越倾向于遵循投影外观，而非未改变的物理 3D 关系。内部表征分析表明存在相应的表征不对称：投影的 2D 关系易于获取，而底层的物理 3D 关系几乎无法解码。此外，那些在被明确询问时能够识别出信息量丰富视角的模型，往往无法识别何时需要这样的额外视角。这些失败无法通过提示或微调完全解决，而提供一个更好的视角比在同样具有误导性的观察上添加深度信息要有效得多。我们的结果将评估视觉观察的可靠性确定为当前空间推理评估中一个独特且缺失的组成部分。
| 评论： | 网站：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30557 [cs.CV] |
| （或使用 arXiv:2605.30557v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.30557 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yue Zhang [查看邮箱]
[v1]
2026年5月28日星期四 20:44:47 UTC（13,319 KB）
[v2]
2026年10月6日星期二 01:04:05 UTC（14,230 KB）
来源：arXiv cs.AI · arxiv.org