arXiv cs.AI· Soham Dan·· 4 小时前AI 评分38
CueClash 测试:Claude Opus 5.5、GPT-5.5、Gemini 3.6 Flash 判断 3-D 关系时依赖画面 2-D 线索
CueClash: Frontier Vision-Language Models Judge 3-D Relations Close to the Picture Plane
AI 导读
CueClash 用渲染场景分离画面 2-D 线索与地面布局,测试显示 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 在低推理强度下,线索正确与错误时的准确率差达 +18 至 +37 个百分点。
正文 · AI 翻译
摘要:视觉语言模型(VLM)可以从图片或从地面布局判断三维关系。在照片中,两者通常一致。我们用 CueClash 将它们分离,在渲染场景中,五种关系各自的二维线索恰好在一半陈述上正确。捷径差距是线索正确时的准确率减去线索错误时的准确率。对于 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash,在低推理努力下,该差距为 +18 到 +37 个百分点。排除两种关系(其线索错误项与边界情况或遮挡混杂)后,差距为 +7 到 +29。给定地面坐标和每种关系的定义,它们回答正确率为 99% 到 100%。使用相机深度的像素测量消除了大部分差距,适用于能穿过开口的物体。失败在于从图片到布局的步骤。模型绘制的俯视场景图大多保持深度顺序,但像图片一样缩短了深度。GPT-5.5 的图接近图片的副本。Opus 5.5 和 Gemini 的图消除了约 0.6 的这种缩短。Gemini 的图随后将所有深度再统一缩小一个因子。Opus 5.5 主要在拟合上跟随图片,其图对深度的校正程度与真实场景的人类观察者大致相当。这三个模型在 CV-Bench 照片上也损失准确率,其中可靠的二维线索会产生误导。在两个开源模型中,布局信息到达了语言模型,但它们的图丢失了大部分信息。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器人学(cs.RO) |
| 引用为: | arXiv:2611.22180 [cs.CV] |
| (或 arXiv:2611.22180v1 [cs.CV] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.22180 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Soham Dan [查看邮箱]
[v1]
2026年11月17日星期二 04:17:35 UTC(1,693 KB)
来源:arXiv cs.AI · arxiv.org