跳到正文
arXiv cs.AI· Yuze Wu, Mo Zhu, Xingxing Li, Yuheng Du, Zhaoqi Wang, Yuxin Fan, Wenjun Li, Kenghou Hoi, Zhichao Han, Xin Zhou, Fei Gao·· 10 小时前AI 评分32

VLN-AR:面向复杂环境空中机器人的分层视觉-语言-导航框架

A Hierarchical Onboard Vision-Language-Navigation Framework for Aerial Robots in Complex Environments

AI 导读

研究团队提出 VLN-AR 分层视觉-语言-导航框架,将多模态推理与底层控制解耦,实现 3D 位姿指令与导航意图的结构化预测并转化为动态可行动作。该框架用基于 3D Gaussian Splatting 的全自动流程生成可扩展的逼真 UAV 导航数据,并采用三阶段渐进训练策略。

正文 · AI 翻译

作者:Yuze Wu、Mo Zhu、Xingxing Li、Yuheng Du、Zhaoqi Wang、Yuxin Fan、Wenjun Li、Kenghou Hoi、Zhichao Han、Xin Zhou、Fei Gao

查看 PDF HTML(实验性)

摘要:无人机(UAV)被期望在严格的机载约束下实现语义推理、智能决策和长时程导航。尽管近期由基础模型驱动的方法在实现这一目标方面已展现出可喜进展,但现有方法仍受限于 3D 数据可用性、轨迹可行性、长时程推理以及复杂环境中的计算效率等挑战。为弥补这些差距,我们提出 VLN-AR,一种面向空中机器人的分层视觉-语言-导航(VLN)框架。VLN-AR 将多模态推理与底层控制解耦,从而能够对 3D 位姿指令和导航意图进行结构化预测,并将其转化为动态可行的动作。为缓解数据稀缺和领域差距,我们引入一种全自动的基于 3D 高斯泼溅(3DGS)的流水线,以生成可扩展的、照片级真实的无人机导航数据。渐进式三阶段训练策略进一步增强基础定位、场景推理和复杂导航能力。此外,一个轻量级认知智能体通过记忆感知的任务分解提升长时程推理能力。最后,我们设计了机载优化技术,包括 token 稀疏化和模型轻量化,在资源受限的无人机平台上实现 7.1 倍至 9.4 倍加速,同时保持高导航性能。实验表明,该方法在仿真和真实世界无人机导航中均较现有方法有显著提升。项目网站:this https URL
Comments: 20 页,14 幅图
Subjects: 机器人学(cs.RO);人工智能(cs.AI)
Cite as: arXiv:2611.23930 [cs.RO]
  (或 arXiv:2611.23930v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23930

由 DataCite 颁发的 arXiv DOI(待注册)

Journal reference: IEEE Transactions on Robotics,2026
相关 DOI: https://doi.org/10.1109/TRO.2026.3754505

链接到相关资源的 DOI

提交历史

来自:Yuze Wu [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 06:21:08 UTC(7,576 KB)

来源:arXiv cs.AI · arxiv.org