arXiv cs.AI· Yulun Jiang, Na\"el Ouerghemi, Yekun Chai, Maria Brbi\'c, Michael Moor·· 10 小时前AI 评分35
MARBLE:面向空间推理与视觉抽象的智能体基准
MARBLE: An Agentic Benchmark for Spatial Reasoning and Visual Abstraction
AI 导读
多模态语言模型基准 MARBLE 发布,覆盖 CUBE、MAZE、BLOX 三个智能体环境,考察 2D/3D 空间谜题中的视觉到空间状态抽象与长程规划。最强模型 GPT-5.4 在最难设置下三个环境平均成功率仅 7.3%。成对消融显示视觉到空间抽象是主要瓶颈:需从图像推断空间状态时,Gemma-4-31B 成功率从 50.7% 降至 3.7%,Kimi-K2.6 从 87.9% 降至 6.5%。
正文 · AI 翻译
摘要:多模态语言模型(MLLMs)在真实世界任务中面临的一个核心挑战是:将视觉观察抽象为结构化的空间状态,并推理这些状态在长时间跨度内随动作如何变化。现有的多模态基准测试往往侧重于静态问答,其答案可直接从图像中提取,或者假设符号状态已经可用,从而绕过了从视觉到空间抽象的转换过程。我们提出了 MARBLE,这是一个用于在三个智能体环境中进行空间基础多模态推理与规划的诊断性基准测试:CUBE、MAZE 和 BLOX。MARBLE 涵盖在几何约束、动态布局和空间变换下的 2D 和 3D 空间谜题,其难度沿两个维度进行系统控制:观察格式和规划跨度。大量评估表明,前沿 MLLMs 在 MARBLE 上表现不佳,最强的模型 GPT-5.4 在最难设置下于三个环境中的平均成功率仅为 7.3%。对开放权重模型进行的成对消融实验表明,从视觉到空间的抽象是主要瓶颈:当模型必须从图像中推断空间状态,而不是接收人工标注的状态时,Gemma-4-31B 的成功率从 50.7% 降至 3.7%,Kimi-K2.6 从 87.9% 降至 6.5%。结果表明,模型往往无法在规划之前从视觉观察中构建精确的空间状态,而这一任务对人类来说却很简单。总体而言,MARBLE 揭示了前沿 MLLMs 在可靠的视觉到空间抽象方面的差距,并为衡量空间基础多模态推理与规划的进展提供了一个受控测试平台。
| 评论: | 已被 NeurIPS 2026 接收,E&D Track(出版中) |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2506.22992 [cs.AI] |
| (或 arXiv:2506.22992v2 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2506.22992 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Michael Moor [查看电子邮件]
[v1]
2025年6月28日星期六 19:44:32 UTC(5,879 KB)
[v2]
2026年11月18日星期三 17:42:16 UTC(7,646 KB)
来源:arXiv cs.AI · arxiv.org