arXiv cs.CL· Zhaoxi Zhang, Hao Liang, Linxuan Wu, Yiming Wu, Yifu Yuan, Kun Liang, Chenming Tang, Meiyi Qiang, Wentao Zhang, Weikang Li·· 11 小时前AI 评分38
SpatialScout：VLM 智能体能否主动探索并构建 3D 场景地图？
SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?
AI 导读
研究者推出 SpatialScout 基准，用于评测 VLM 智能体在主动物体级 3D 建图上的表现，包含 80 个室内场景、3140 个目标物体。智能体需在有限交互预算下控制相机探索，并估计物体中心坐标，评测同时衡量定位精度与目标覆盖率。最强模型 Claude Opus 5.5 平均重叠得分仅 41.71%，IoU 超过 0.5 的目标占 47.23%，超过 0.9 的仅 3.25%。
正文 · AI 翻译
摘要：空间智能要求智能体主动获取视觉证据，并将观测结果整合为对三维世界的一致表征。然而，空间问答难以充分证明模型能否通过自主探索构建准确的度量地图。我们提出 SpatialScout，这是一个用于评估视觉语言模型（VLM）智能体在主动物体级 3D 建图任务上表现的基准。SpatialScout 包含 80 个多样化室内场景，共 3,140 个目标物体。给定物体清单、RGB 观测、相机标定和相机位姿，智能体控制相机探索每个场景，并在共享坐标系中估计物体中心。该任务要求在有限的交互预算下协调视角选择、跨视角关联、几何估计和地图修正。评估通过惩罚漏检预测的物体尺度重叠分数，联合衡量定位精度和目标覆盖率。对前沿 VLM 的实验揭示了显著局限：评估中最强的模型 Claude Opus 5.5 平均重叠分数为 41.71%，其中 47.23% 的目标超过交并比（IoU）阈值 0.5，仅 3.25% 超过 0.9。这些结果表明，在恢复粗略物体布局与构建完整、精确的度量地图之间存在显著差距。SpatialScout 为开发通过主动感知构建可靠 3D 空间表征的智能体提供了定量测试平台。代码见 此 https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26659 [cs.CV] |
| （或 arXiv:2610.26659v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.26659 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Hao Liang [查看邮箱]
[v1]
2026年10月19日星期一 16:17:48 UTC（2,425 KB）
[v2]
2026年10月20日星期二 02:49:48 UTC（2,426 KB）
来源：arXiv cs.CL · arxiv.org