arXiv cs.AI· Chenglong Shi, Zekai Yuan, Yue Song, Jon Pu, Will Wu·· 13 小时前AI 评分39
SpaceAct：用闭环动作与主动感知评测 3D 时空推理的基准
SpaceAct: Benchmarking 3D Spatial and Temporal Reasoning via Closed-Loop Action and Active Perception
AI 导读
SpaceAct 是一个通过闭环物理动作与主动感知评测多模态大模型 3D 时空推理的交互式基准，基于积木与机械谜题构建，覆盖 36 个任务族共 108 个实例，不提供特权坐标。
正文 · AI 翻译
摘要：为了在 3D 空间中解决问题而不仅仅是描述图像，多模态大语言模型（MLLMs）需要 3D 时空推理：从被遮挡的 2D 视图中重建 3D 几何、预测物理动态，并执行精确的闭环动作。先前的研究在静态图像或符号规划上测试被动 VQA，无需执行或提供特权坐标，同时忽略碰撞、静力学和时序。我们推出 SpaceAct，一个通过闭环物理动作和主动感知评估 3D 时空推理的交互式基准，以及 SAPA，一个时空主动探测智能体框架。它基于互锁积木和机械谜题构建，在六大类 36 个任务系列中拥有 108 个经过验证的实例，不提供特权坐标，并具有诊断模式（+plan、+state、no-camera、blind、L7 levers）。在积木搭桥或穿环任务中，模型旋转相机以解决遮挡、读取场景内标尺、在扫掠碰撞和静力学检查下输出 6-DoF 位姿，并通过分屏回滚反馈自我纠正（动态任务在思考期间冻结时间并提供五帧频闪帧）。在 44 个最难实例上，10 个前沿 MLLM 的得分跨度为 4.8-79.1（其中七个最多解决 6-DoF 任务的 27.3%）；对于前三名，参考计划（+plan）弥补了 44% 的差距，但每回合仍留下 5.2 次碰撞，而添加精确 3D 状态（+state）弥补了 90% 并将碰撞降至 0.5；对于另外四个，+plan 将平均得分从 10.9 提升至 35.3，+state 提升至 81.8；46% 的失败是碰撞或观察循环。SpaceAct 和 SAPA 将评估推进到闭环物理交互，表明即使有有效的计划，MLLM 仍受限于 3D 视觉定位和动作细化，同时为主动多视图探索和显式 3D 定位提供了测试平台。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38405 [cs.RO] |
| （或 arXiv:2610.38405v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38405 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yue Song [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 07:51:57 UTC（16,684 KB）
来源：arXiv cs.AI · arxiv.org