arXiv cs.AI· Zhixi Cai, Fucai Ke, Sukai Huang, Maria Garcia de la Banda, Peter J. Stuckey, Gholamreza Haffari, Hamid Rezatofighi·· 14 小时前AI 评分34
JRDB-AVR：面向真实环境具身智能体的主动视觉推理基准
JRDB-AVR: An Active Visual Reasoning Benchmark for Embodied Agents in Real-World Environments
AI 导读
JRDB-AVR 是一个基于真实 JRDB 机器人数据构建的主动视觉推理基准，要求具身智能体按时间戳和视角请求有限观测，并同时评估最终答案与支撑答案的视觉证据。基准覆盖时间搜索、视角选择与面向人类的组合推理等任务，同时提出维护显式观测图世界模型的参考方法 JRDB-AVR-Agent。实验显示当前基线在答案准确率与证据准确率之间存在显著差距，VLM 可给出缺乏证据支撑的正确答案。
正文 · AI 翻译
摘要：在复杂的具身视觉推理场景中，智能体往往只有有限的视野，而回答问题所需的证据可能分布在时间、视角和交互对象之间。因此，模型可能在没有观察到支撑答案的相关对象、时间或视角的情况下，给出看似合理的答案。当前的视觉推理基准主要评估被动观察和最终答案，忽略了需要主动推理和证据获取的设置。我们提出 JRDB-AVR，这是一个基于现有真实世界 JRDB 机器人数据构建的基准，通过结构化问题生成引擎将这一差距转化为明确的评估：具身智能体系统接收视觉推理问题，按时间戳和视角请求有界观察，并同时根据最终答案和支持该答案的 grounded 视觉证据进行评估。该基准包含跨多个真实世界环境的多样化问题，涉及时间搜索、视角选择和面向人类的组合推理。我们还提出 JRDB-AVR-Agent，一种参考性的主动推理智能体方法，它维护一个显式的、基于观察的图式世界模型，并通过求解来回答问题。实验揭示了当前基线在答案准确率和证据准确率之间存在显著差距，表明当前 VLM 可能产生无支撑的正确答案，并且主动的证据感知评估对于具身视觉推理是必要的。代码和基准可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器人学（cs.RO） |
| 引用为： | arXiv:2609.35032 [cs.AI] |
| （或 arXiv:2609.35032v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35032 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhixi Cai [查看电子邮件]
[v1]
2026年9月28日星期一 12:30:11 UTC（6,061 KB）
[v2]
2026年10月26日星期一 03:28:40 UTC（5,448 KB）
来源：arXiv cs.AI · arxiv.org