arXiv cs.AI· Qingchuan Ma, Yuexiao Ma, Xiang Meng, Yixuan Zou, Tianyu Xie, Wang Chen, Yuhui Zeng, Yuhang Wu, Xiawu Zheng, Rongrong Ji·· 3 天前AI 评分29
RoTA-Bench：通过交互式投影对齐评估 3D 空间推理
RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment
AI 导读
研究者推出 RoTA-Bench，通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力，包含 674 个任务及 100 个分层测试任务。GPT-5.6-Sol 仅完成 17% 的任务，而 20 名本科生参与者以 100% 成功率集体完成测试集四次。在相同状态下，模型比人类更常出现轮廓重叠改善但姿态对齐变差的情况（19.4% vs. 10.9%）。
正文 · AI 翻译
摘要：视觉语言模型能否将 2D 观测转化为支持精确动作的 3D 理解？这需要推断物体几何形状、预判旋转效果，并通过视觉反馈优化动作。我们提出 RoTA-Bench，通过交互式 3D 到 2D 投影对齐来评估这些能力。给定目标轮廓，模型观察一个旋转后的物体，并在有限动作预算内选择连续旋转以恢复目标投影。我们的自动化流程从 2D 图标构建保持轮廓的 3D 物体，并使用可逆初始化来保证可解性，从而生成 674 个任务和一个分层抽样的 100 任务测试集。实证上，我们发现：(i) 人与模型之间仍存在显著差距：GPT-5.6-Sol 仅在 17% 的任务上成功，而 20 名本科生参与者合计完成测试集四次，成功率为 100%；(ii) 图像空间与姿态空间的进展可能背离：在相同状态下，模型相比人类更常出现轮廓重叠改善但姿态对齐变差的情况（19.4% 对 10.9%）；以及 (iii) 细粒度控制对交互历史敏感：移除它会使模型 96.8% 的动作停留在 30 度的粗粒度步长，并显著降低观察到的任务成功率。这些发现凸显了将视觉证据转化为精确 3D 控制的挑战，这超越了识别或匹配单个图像。
| 评论： | 31 页，2 幅图 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17665 [cs.AI] |
| （或 arXiv:2610.17665v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17665 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qingchuan Ma [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 03:46:48 UTC（5,409 KB）
[v2]
2026 年 10 月 14 日星期三 03:47:29 UTC（5,409 KB）
来源：arXiv cs.AI · arxiv.org