arXiv cs.AI· Khai Le-Duc, Nguyen Kim Hai Bui, An Ngo, Nam D. Hoang, Yueqi Song, Jiarui Liu, Thai Quoc Hoang, Fang Wu, Chris Ngo, Terry Jingchen Zhang, Mona T. Diab, Ran Xu, Silvio Savarese, Xiao-Ming Wu·· 13 小时前AI 评分47
视觉语言模型在3D推理上为何失败？BedBench基准揭示精确属性使用鸿沟
Where Do Vision Language Models Fail at 3D Reasoning?
AI 导读
研究团队推出 BedBench 基准，包含 13 项程序化生成的 3D 推理任务，测试 12 个开源权重模型和 4 个前沿模型。按颜色计数任务中人类准确率 93.3%，最佳模型仅 7.2%；定向微调可将某模型从 3.0% 提升至 68.6%，但其对最常见颜色的回答仍与自身计数不一致。
正文 · AI 翻译
作者：Khai Le-Duc、Nguyen Kim Hai Bui、An Ngo、Nam D. Hoang、Yueqi Song、Jiarui Liu、Thai Quoc Hoang、Fang Wu、Chris Ngo、Terry Jingchen Zhang、Mona T. Diab、Ran Xu、Silvio Savarese、Xiao-Ming Wu
摘要：视觉语言模型可以做出正确的单项判断，却难以恢复并一致地使用 3D 物体的确切属性。为刻画这一差距，我们提出了 BedBench，这是一个受控基准，包含十三项程序化生成的任务，涵盖单项判断与复合答案。在十二个开放权重模型和四个前沿模型上，按颜色计数暴露出一个明显弱点：人类达到 93.3% 的准确率，而最佳模型仅为 7.2%。有针对性的微调将某个模型的准确率从 3.0% 提升到 68.6%，但揭示出进一步的困难：它关于最常见颜色的答案仍与其自身的按颜色计数不一致。将这些计数作为文本提供可改善其判断，表明恢复某个属性并不意味着能一致地使用它。推理、扩展和添加视觉线索各自都能改善单项判断，但都无法使确切答案变得可靠。为定位困难所在，我们探查了 Qwen3.5-27B：确切的按颜色计数在语言模型的输入端仍可恢复，但模型的答案很少能恢复它们（探查为 65.0%，而模型为 3.0%）。图像移除对照进一步表明，一些表面上的成功并不需要视觉证据。这些发现促使我们通过确切正确性、一致使用和图像依赖性来评估 3D 推理，而不仅仅依靠准确率。代码和数据集已公开：this https URL
| 评论： | 预印本，150 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39639 [cs.CV] |
| （或 arXiv:2610.39639v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39639 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Khai Le-Duc [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 09:00:14 UTC（9,508 KB）
来源：arXiv cs.AI · arxiv.org