跳到正文
arXiv cs.AI· Soham Dan·· 4 小时前AI 评分38

CueClash 测试:Claude Opus 5.5、GPT-5.5、Gemini 3.6 Flash 判断 3-D 关系时依赖画面 2-D 线索

CueClash: Frontier Vision-Language Models Judge 3-D Relations Close to the Picture Plane

AI 导读

CueClash 用渲染场景分离画面 2-D 线索与地面布局,测试显示 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 在低推理强度下,线索正确与错误时的准确率差达 +18 至 +37 个百分点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)可以从图片或从地面布局判断三维关系。在照片中,两者通常一致。我们用 CueClash 将它们分离,在渲染场景中,五种关系各自的二维线索恰好在一半陈述上正确。捷径差距是线索正确时的准确率减去线索错误时的准确率。对于 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash,在低推理努力下,该差距为 +18 到 +37 个百分点。排除两种关系(其线索错误项与边界情况或遮挡混杂)后,差距为 +7 到 +29。给定地面坐标和每种关系的定义,它们回答正确率为 99% 到 100%。使用相机深度的像素测量消除了大部分差距,适用于能穿过开口的物体。失败在于从图片到布局的步骤。模型绘制的俯视场景图大多保持深度顺序,但像图片一样缩短了深度。GPT-5.5 的图接近图片的副本。Opus 5.5 和 Gemini 的图消除了约 0.6 的这种缩短。Gemini 的图随后将所有深度再统一缩小一个因子。Opus 5.5 主要在拟合上跟随图片,其图对深度的校正程度与真实场景的人类观察者大致相当。这三个模型在 CV-Bench 照片上也损失准确率,其中可靠的二维线索会产生误导。在两个开源模型中,布局信息到达了语言模型,但它们的图丢失了大部分信息。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器人学(cs.RO)
引用为: arXiv:2611.22180 [cs.CV]
  (或 arXiv:2611.22180v1 [cs.CV] 为此版本)
  https://doi.org/10.48550/arXiv.2611.22180

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Soham Dan [查看邮箱]
[v1] 2026年11月17日星期二 04:17:35 UTC(1,693 KB)

来源:arXiv cs.AI · arxiv.org