arXiv cs.AI· Minye Wu, Zehao Wang, Tinne Tuytelaars·· 9 天前AI 评分23
空间语言建模：统一策略学习与状态预测
Unifying Policy Learning and State Prediction through Spatial Language Modeling
AI 导读
研究者提出空间语言建模（Spatial Language Modeling），用离散坐标与语义 token 的共享词表表示场景轮廓、目标、动作目标和未来状态，让单个自回归 Transformer 通过统一的下一 token 预测目标同时学习动作生成与动作条件下的状态预测。
正文 · AI 翻译
摘要：学习动作如何改变场景几何，可以为目标导向的操作提供互补的监督信号。我们提出了空间语言建模（Spatial Language Modeling），它使用由离散坐标和语义 token 构成的共享词表来表示场景轮廓、目标、动作目标和未来状态。任务特定的语法将这些元素组织成空间序列，使一个自回归 Transformer 能够通过统一的下一 token 预测目标来学习动作生成和以动作为条件的状态预测。我们从头训练该模型，先进行随机游玩转移预训练，然后在专家演示上进行动作与状态的联合训练。在预训练期间，记录的动作坐标作为后续状态预测的条件，并被排除在预测损失之外。在控制期间，模型仅解码可执行的动作目标，并用新观测到的状态更新其历史。我们在仿真中的 Push-T 任务和真实机器人上评估了该方法。该模型在仿真中取得了有竞争力的性能，并且在任务成功率和目标覆盖率上均高于所评估的真实机器人策略基线。训练消融实验表明，联合动作与状态序列可以改善控制效果，而随机游玩预训练还能带来进一步提升。在给定动作轨迹的情况下，同一模型还能预测后续场景状态，捕捉推动的几何效应。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12172 [cs.RO] |
| （或 arXiv:2610.12172v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12172 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Minye Wu [查看邮箱]
[v1]
2026年10月8日星期四 15:43:08 UTC（4,403 KB）
来源：arXiv cs.AI · arxiv.org