arXiv cs.AI· Yifei Dong, Fengyi Wu, Guangyu Chen, Lingdong Kong, Qiyu Hu, Yuxuan Zhou, Xu Zhu, Jingdong Sun, Jun-Yan He, Qi Dai, Alexander G. Hauptmann, Zhi-Qi Cheng·· 11 小时前AI 评分36
UniWM：记忆增强规划与预见统一的视觉导航世界模型
Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight
AI 导读
UniWM 是一个统一的多模态自回归世界模型，将自我中心视觉预见与规划整合进单一骨干，让动作选择直接基于视觉想象结果，并用分层记忆机制融合短期感知与长期轨迹上下文。
正文 · AI 翻译
作者：Yifei Dong、Fengyi Wu、Guangyu Chen、Lingdong Kong、Qiyu Hu、Yuxuan Zhou、Xu Zhu、Jingdong Sun、Jun-Yan He、Qi Dai、Alexander G. Hauptmann、Zhi-Qi Cheng
摘要：使具身智能体能够想象未来状态，对于稳健且可泛化的视觉导航至关重要。然而，当前最先进的系统通常依赖将导航规划与视觉世界建模解耦的模块化设计，这往往会导致状态-动作错位，并在新颖或动态场景中适应性较弱。我们提出 UniWM，一种统一的、记忆增强的世界模型，在单一多模态自回归主干中集成了自我中心视觉前瞻与规划。UniWM 明确地将动作选择建立在视觉想象的结果之上，使预测与控制紧密对齐。同时，分层记忆机制融合短期感知线索与长期轨迹上下文，支持在更长时域上进行稳定且连贯的推理。在四个具有挑战性的基准（Go Stanford、ReCon、SCAND、HuRoN）和 1X Humanoid Dataset 上的大量实验表明，UniWM 将导航成功率最高提升 30%，相较强基线大幅降低轨迹误差，可零样本泛化到未见过的 TartanDrive 数据集，并能自然扩展到高维人形导航。这些结果使 UniWM 成为迈向统一、想象驱动的具身导航的原则性一步。代码和模型可在 this https URL 获取。
| 评论： | 已被 ECCV 2026 接收。22 页，12 张图，代码：this https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器人学（cs.RO） |
| 引用为： | arXiv:2510.08713 [cs.AI] |
| （或使用 arXiv:2510.08713v4 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2510.08713 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yifei Dong [查看邮箱]
[v1]
2025 年 10 月 9 日星期四 18:18:11 UTC（3,604 KB）
[v2]
2026 年 3 月 22 日星期日 22:29:39 UTC（5,770 KB）
[v3]
2026 年 8 月 18 日星期二 06:05:28 UTC（5,855 KB）
[v4]
2026 年 10 月 16 日星期五 09:44:37 UTC（5,855 KB）
来源：arXiv cs.AI · arxiv.org