跳到正文
arXiv cs.AI· Rui Gong, Ruoyu Wang, Yalun Dai, Hao Li, Sidi Yang, Qihao Zhao, Hongyu Li, Zeyang Guan, Fangzhou Hong, Zhaoxi Chen, Kim-Hui Yap, Ziwei Liu·· 11 小时前AI 评分40

S-Agent 2.0:用通用编程智能体实现空间推理

S-Agent 2.0: Spatial Reasoning with a General Coding Agent

AI 导读

S-Agent 2.0 将现成通用编程智能体与命令行感知工具包结合,通过持久场景记忆和空间语言解读闭合证据回路。在 MMSI-Bench 和 ReVSI 上,该工具包使 Qwen3.8-27B 分别提升 13.9 和 20.5 分,Gemini-3.8-Flash 提升 11.2 和 9.6 分。

正文 · AI 翻译

作者:Rui Gong、Ruoyu Wang、Yalun Dai、Hao Li、Sidi Yang、Qihao Zhao、Hongyu Li、Zeyang Guan、Fangzhou Hong、Zhaoxi Chen、Kim-Hui Yap、Ziwei Liu

查看 PDF HTML(实验性)

摘要:空间推理要求模型推断物体在三维空间中的位置、它们之间的相互关系以及它们如何运动。Agentic VLM 近期通过让模型使用 3D 感知工具主动收集证据、而非一次性作答,在此类任务上取得了大幅提升。即便如此,在许多问题上,工具返回了正确的证据,模型却仍未得出正确答案:模型与工具之间的鸿沟——即原始读数转化为可用结论的环节——仍未被填补。我们提出 S-Agent 2.0,一个空间推理智能体,它为现成的通用编码智能体配备命令行感知工具包,并围绕一个原则设计接口:帮助 VLM 闭合证据回路:获取场景证据、将其存入持久场景记忆,并用通俗的空间语言解读每个读数。这一设计保留了编码智能体的全部灵活性,且其依据的每个读数都扎根于工具的几何信息。在 MMSI-Bench 和 ReVSI 上,该工具包使强开源模型 Qwen3.8-27B 相比同一智能体无工具时分别提升 +13.9 和 +20.5 分,使强闭源模型 Gemini-3.8-Flash 分别提升 +11.2 和 +9.6 分。在开源骨干模型上,S-Agent 2.0 在 MMSI-Bench 上达到 66.5、在 ReVSI 上达到 82.3,领先同一骨干上的专用系统 SpatialClaw(62.6 和 74.5);搭配 Gemini-3.8-Flash 时达到 74.1 和 90.5,而后者为 67.0 和 79.7。随着骨干模型能力增强,两者的工具增益均会缩小,但 SpatialClaw 在 ReVSI 上缩小幅度大得多,从 +13.2 降至 +2.7,而我们的方法保持在 +9.6。S-Agent 2.0 还可跨不同的通用编码智能体框架运行,例如 Codex 和 Claude Code。
学科: 人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2610.28354 [cs.AI]
  (或本版本的 arXiv:2610.28354v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2610.28354

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Rui Gong [查看邮箱]
[v1] 2026年10月20日 星期二 15:20:00 UTC(8,526 KB)

来源:arXiv cs.AI · arxiv.org