arXiv cs.AI· Yang Zhou, Zixuan Huang, Sunzhu Li, Zhuo Yang, Chen Zhang, Shunian Chen, Caijun Yan, Jianyao Xu, Shunyu Liu, Weijie Fu, Peiliang Li, Xiaozhi Chen, Yuxiang Cai·· 14 小时前AI 评分42
SpatialCLI：让 VLM 先借助空间工具推理，再逐步内化这些能力
SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them
AI 导读
SpatialCLI 框架通过“调用工具—学习使用—内化能力”三阶段，让 VLM 借助专业视觉模型作为空间工具提升感知，再将这些能力内化。在 MindCube 上，Qwen3-VL-8B-Instruct 借助工具从 29.3% 提升至 84.6%，超过同样使用工具的 GPT-5.6 Sol（72.1%），内化后无工具仍保留 73.8%。
正文 · AI 翻译
作者：Yang Zhou、Zixuan Huang、Sunzhu Li、Zhuo Yang、Chen Zhang、Shunian Chen、Caijun Yan、Jianyao Xu、Shunyu Liu、Weijie Fu、Peiliang Li、Xiaozhi Chen、Yuxiang Cai
摘要：视觉语言模型（VLM）正越来越多地被用于具身智能体中，以解读视觉输入、推理空间关系，并基于该推理做出任务级决策。然而，一项根本性的能力错配仍然存在：通用 VLM 能够对整体任务进行推理，却常常忽略决定成败的视觉细节；而专用视觉模型能够捕捉这些细节，却无法将其转化为任务级决策。在本工作中，我们提出 SpatialCLI，一个教会 VLM 使用空间工具进行推理，并逐步内化这些工具所提供的专用感知能力的框架。SpatialCLI 分三个阶段进行：（1）Call 将专用视觉模型作为空间工具暴露出来，以增强 VLM 的感知；（2）Learn 使用冷启动 SFT 和智能体强化学习来改进工具使用；（3）Internalize 将成功的工具使用轨迹言语化，以将专用感知能力内化。我们进一步推出 SpatialCLI-Bench，一个包含 516 个示例的基准，用于跨定位、分割、深度和姿态的组合感知。在 MindCube 上，SpatialCLI 借助工具将 Qwen3-VL-8B-Instruct 从 29.3% 提升至 84.6%，超过借助工具的 GPT-5.6 Sol（72.1%），同时在内化后于无工具情况下仍保持 73.8%。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.27703 [cs.AI] |
| （或本版本使用 arXiv:2607.27703v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.27703 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yang Zhou [查看邮箱]
[v1]
2026年7月30日星期四 05:39:01 UTC（5,347 KB）
[v2]
2026年8月4日星期二 12:14:50 UTC（5,346 KB）
[v3]
2026年10月26日星期一 09:20:14 UTC（5,346 KB）
来源：arXiv cs.AI · arxiv.org