arXiv cs.AI· Yuehao Huang, Yunzi Wu, Xiaotao Zhang, Xinhai Li, Jiankun Dong, Sunyao Zhou, Jiajun Lv, Chi Zhang, Chenjia Bai, Yong Liu, Xuelong Li·· 13 小时前AI 评分35
WNM-3D：面向闭环 VLN 的 3D 场景条件世界导航模型
WNM-3D: A World Navigation Model with 3D Scene Conditioning for Closed-Loop VLN
AI 导读
WNM-3D 是面向连续 VLN 的生成式世界导航模型，用冻结的前馈几何编码器从单目 RGB 历史提取跨视角表示，再经可训练的 3D Scene-to-Token Adapter 转为定长场景前缀，供世界-动作 Diffusion Transformer 在联合去噪中持续使用。
正文 · AI 翻译
作者：Yuehao Huang、Yunzi Wu、Xiaotao Zhang、Xinhai Li、Jiankun Dong、Sunyao Zhou、Jiajun Lv、Chi Zhang、Chenjia Bai、Yong Liu、Xuelong Li
摘要：近期的视觉语言导航（VLN）系统越来越多地将预训练的视觉语言模型（VLM）适配为视觉语言动作（VLA）策略，把第一人称观测和语言指令直接映射为导航动作。这类以动作为中心的训练虽然具备语义能力，却没有显式建模智能体的视觉观测在其预测运动下如何演变。生成式世界动作模型（WAM）联合预测未来观测与动作，但现有面向连续 VLN 的 WAM 并未以从观测历史推断出的几何感知表示作为联合未来视图与动作生成的条件。我们提出 WNM-3D，一种面向连续 VLN、以 3D 场景为条件的生成式世界导航模型。一个冻结的前馈几何编码器从单目 RGB 历史中提取跨视图表示，一个可训练的 3D 场景到 Token 适配器将其转换为固定长度的场景前缀，供世界动作 Diffusion Transformer 使用。通过块因果注意力，该前缀在联合去噪过程中对每个未来视频-动作块始终可见，从而提供持久的几何上下文。我们采用监督式世界动作学习、在策略访问状态上的 DAgger 式适配以及反事实 DanceGRPO 精炼来训练 WNM-3D。在 GN-Bench 和 VLN-CE 上，WNM-3D 始终优于骨干网络匹配的 WNM-2D 对应版本，表明 3D 场景条件在不同视觉域上均带来增益。WNM-3D 在 GN-Bench 上进一步优于强 VLN 基线，并展示了在实体机器人上的闭环部署。组件与分阶段消融实验支持了适配器的设计以及 DAgger-SFT 与后续奖励引导精炼的互补作用。
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器人学（cs.RO） |
| 引用为： | arXiv:2608.07267 [cs.AI] |
| （或使用 arXiv:2608.07267v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.07267 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuehao Huang [查看邮箱]
[v1]
2026年8月7日星期五 14:29:00 UTC（10,688 KB）
[v2]
2026年8月20日星期四 03:44:24 UTC（16,861 KB）
[v3]
2026年10月29日星期四 07:13:26 UTC（18,412 KB）
来源：arXiv cs.AI · arxiv.org