arXiv cs.AI· Yuxuan Cao, Junlong Li, Hao Li, Junxian He·· 9 天前AI 评分34
Mine Odyssey:在真实世界场景中评测智能体空间智能的基准
Mine Odyssey: Benchmarking Spatial Agentic Intelligence in the Wild
AI 导读
研究团队推出 Mine Odyssey,一个用 Minecraft 重建真实地点来评测智能体空间智能的基准,包含 30 个地点、180 项任务,覆盖五大洲 20 个国家和地区的 20 个室外与 10 个室内场景。
正文 · AI 翻译
摘要:基础模型的进步正推动人们将智能体引入物理世界以协助人类。此类智能体需要具备智能体空间智能:探索陌生环境、通过交互更新空间理解,并根据反馈调整行动,以持续推进一系列目标。现有基准仅覆盖有限范围的空间布局、规模和通行要求。我们推出 Mine Odyssey,一个利用 Minecraft 重建真实世界地点来评估智能体空间智能的基准。它包含 180 项任务,覆盖五大洲 20 个国家和地区的 30 个此类地点,其中包括 20 个室外和 10 个室内场景。这些场景涵盖多样的空间尺度、布局、地形和连通模式,从曼哈顿中城和恩特鲁普乡村到圣卢西亚山和白金汉宫。我们选取有意义的路径点,如地标、建筑和房间,并人工验证其可达性。每项任务提供一条自然语言指令,指定要访问哪些路径点以及按什么顺序访问。完成这些任务需要智能体找到可通行的路线和入口、开门,并使用楼梯和梯子在楼层之间移动,同时监控自身进度并从导航错误中恢复。在八个被评估的最先进模型中,GPT-6 Astra 取得了最高的 85.6% 成功率。然而,排名第二的模型 Claude Opus 5.5 完成了 73.9% 的任务,而被评估的最强开放权重模型 DeepSeek-V4.1-Flash 仅达到 23.9%,凸显出当前模型在智能体空间智能方面仍有很大提升空间。对 Mine Odyssey 的全面分析和消融研究揭示了当前模型的局限性,并为推进智能体空间智能提供了洞见。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.11328 [cs.AI] |
| (或 arXiv:2610.11328v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11328 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yuxuan Cao [查看邮箱]
[v1]
2026年10月8日星期四 06:26:43 UTC(21,038 KB)
来源:arXiv cs.AI · arxiv.org