NavGPT-3：在分层导航运行时中利用上下文

作者：Gengze Zhou、Yicong Hong、Jiazhao Zhang、Xunyi Zhao、Jian Zhou、Zixing Lei、Zun Wang、Chongyang Zhao、Xionghui Chen、Stephen Gould、Anton van den Hengel、Qi Wu

查看 PDF HTML（实验性）

摘要：通过长时程智能体强化学习训练的语言模型能够通过推理泛化知识、表达精确动作，并在多步中追求目标，从而提升了具身智能体在理解与决策方面的上限。然而，物理交互仍属于动作策略的领域，后者提供密集、低延迟的控制。我们提出 NavGPT-3，一个连接这两种模型的框架，并在其上构建了类似操作系统的运行时：推理、行动和监控作为线程运行，各自拥有独立的上下文、工具和权限，而运行时负责调度它们并决定哪个线程控制机器人的运动，从而使机器人能够通过中断和线程切换对现实世界中的突发情况做出反应。在其下层，我们的动作策略 NavGPT VLA 在 1928 万个样本上训练，使用编解码分配按场景变化比例分配视觉 token；其 8B 模型单独在 R2R-CE 上达到 74.51 SR，并以 78.19 SR 领跑 RxR-CE。借助完整的框架，NavGPT-3 在 R2R-CE 上创下最先进水平（81.51 SR），并首次将自主智能体提升至人类水平：在 RxR-CE 上，其成功率（90.43 对 90.4 SR）和路径保真度（78.47 对 77.7 nDTW）与人类跟随者相当，每回合耗时 1 分 22 秒，而人类约为 3 分钟。我们全面消融了框架设计以及两种模型之间的交互，展示了工具和动作策略如何塑造从语言模型推理到物理控制的路径：当 NavGPT VLA 执行路线时，推理循环缩短，系统的最小反应时间从每次语言模型决策 3-19 秒降至每个动作策略步骤 0.5-1 秒（1-2 Hz）。这些结果表明，设计这一具身接口对于连接前沿语言模型智能与底层物理控制至关重要。我们将发布所有模型、代码和评估记录。

评论：	36 页，14 张图。项目页面：this https URL
学科：	机器人学（cs.RO）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）
引用为：	arXiv:2610.10787 [cs.RO]
	（或 arXiv:2610.10787v1 [cs.RO] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.10787 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Gengze Zhou [查看邮箱]
[v1] 2026 年 10 月 7 日星期三 18:45:56 UTC（17,542 KB）