arXiv cs.AI· Kaixiang Yao, Xu Wang, Miao Pan, Hu Xiyue, Jiaxin Li, Weishi Wang, Daniel Dahlmeier, Jintao Chen, Yongliang Shen, Xuhong Zhang, Jianwei Yin, Yueting Zhuang, Wenqi Zhang·· 3 天前AI 评分27
Spatial-Interactor：通过与环境交互学习空间推理
Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World
AI 导读
研究团队提出 Spatial-Interactor 框架，通过交互让 VLM 建模物理世界状态转移，并构建了 LSI-108K 数据集，覆盖 L1 被动世界状态转移、L2 主动自身状态转移、L3 长程交互轨迹三级课程。
正文 · AI 翻译
作者：Kaixiang Yao、Xu Wang、Miao Pan、Hu Xiyue、Jiaxin Li、Weishi Wang、Daniel Dahlmeier、Jintao Chen、Yongliang Shen、Xuhong Zhang、Jianwei Yin、Yueting Zhuang、Wenqi Zhang
摘要：空间推理对于视觉语言模型（VLM）理解和作用于物理世界至关重要。在动态环境中进行推理要求 VLM 感知由物体运动和视角变化引起的局部状态转换，并在长轨迹上对其进行整合，以维持更新的空间状态，然而现有 VLM 在这两方面能力上仍然有限。当前的空间训练主要聚焦于关于物体属性和空间关系的静态问题，对状态转换提供的直接监督有限；相比之下，交互轨迹自然地将先前的观察、一个动作和随后的观察连接起来，为局部状态转换提供了直接监督，而完整轨迹则揭示了连续转换之间的依赖关系。因此，我们提出了 Spatial-Interactor，一个训练 VLM 通过交互对物理世界状态转换进行建模的框架，将该学习过程组织为三级课程，涵盖 L1 被动世界状态转换、L2 主动自身状态转换和 L3 长时程交互轨迹。相应地，我们从模拟和真实交互轨迹中构建了 Learning from Spatial Interaction 数据集（LSI-108K），其任务与每个级别的目标相一致。我们的两阶段训练策略对 L1 和 L2 应用监督微调（SFT）以进行局部转换建模，然后使用 On-Policy Distillation（OPD）进行特权自蒸馏：一个被给予片段级转换描述的老师分支监督学生的 on-policy CoT，帮助学生学会在 L3 长轨迹上整合连续转换。在多个 VLM 和空间基准上的实验表明，在局部转换建模和长时程整合方面均取得了持续提升。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.23038 [cs.AI] |
| （或 arXiv:2609.23038v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kaixiang Yao [查看邮箱]
[v1]
2026年9月19日星期六 14:13:59 UTC（37,806 KB）
[v2]
2026年10月12日星期一 09:29:14 UTC（37,807 KB）
来源：arXiv cs.AI · arxiv.org