arXiv cs.AI· Yuhang Peng, Zhikai Wang, Ziyi Wang, Jiaru Zhong, Xiaoji Zheng, Jingzhi Huang, Yi Wang, Jiangtao Gong·· 13 小时前AI 评分38
零样本视觉语言导航该记住什么？8B 导航系统的时空记忆设计
What Should a Navigator Remember? Spatiotemporal Memory for Zero-Shot Vision-Language Navigation
AI 导读
一项研究提出用任务、时间、空间三类互补记忆组织 8B 规模零样本 VLN 智能体的历史信息，由 8B observer 总结观测、8B reasoner 选择路点意图，几何控制器执行。
正文 · AI 翻译
摘要：零样本视觉与语言导航（VLN）要求智能体在没有导航专项训练的情况下利用过去的观测。我们研究一个 8B 规模的导航系统应保留哪些信息，以及如何组织这些信息以用于后续决策。我们的智能体将指令进度、以位姿为锚点的分层压缩观测历史，以及累积的几何信息，结合到互补的任务记忆、时间记忆和空间记忆中。一个 8B 观察器对观测进行总结，一个 8B 推理器利用这些记忆来选择路点意图或请求额外视图，一个几何控制器执行所选目标。从语义信息的视角出发，我们论证了保留证据、使推理器能够访问这些证据，以及获取更多观测三者之间的区别。在 R2R-CE val-unseen 上，完整系统在所评估的基于 Qwen3 的零样本基线中取得了最高成绩。移除时间记忆会降低 SR，并使平均路径长度从 16.9m 急剧增加到 39.1m；移除空间地图和规划组件也会降低 SR。在 Unitree Go2 上的真实世界实验表明，我们的零样本方法在走廊和办公环境中均比后训练基线取得了更高的成功率，表明其能更好地迁移到所评估的真实世界环境。作为一项补充评估，LAW2 使用成对的指令干预来考察行为响应，即超越终点成功率的指令遵循能力。这些结果支持在结构化记忆中保留任务进度、观测历史和几何信息，以便用较小的开放模型实现零样本导航。
| 评论： | 20 页，3 幅图，8 张表 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38318 [cs.RO] |
| （或 arXiv:2610.38318v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38318 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuhang Peng [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 06:08:29 UTC（4,364 KB）
来源：arXiv cs.AI · arxiv.org