arXiv cs.AI· Chalindu Abeywansa, Sahan Gunasekara, Devindi De Silva, Seniru Dissanayake, Ranga Rodrigo, Peshala Jayasekara·· 10 天前AI 评分23
基于阿克曼转向移动机器人的连续环境视觉语言导航 Sim-to-Real 迁移
Sim-to-Real Transfer of Vision-Language Navigation in Continuous Environments Using an Ackermann-Steered Mobile Robot
AI 导读
研究团队将连续环境下的视觉语言导航（VLN）方法从仿真迁移到真实世界，无需导航图或全景视图。系统采用 Cross-Modal Attention（CMA）架构，在仿真数据集上训练后，用自建阿克曼转向机器人（配备摄像头和 LiDAR）采集的真实数据进行微调，结合线性光度调整和少量 episode 微调即可适应真实环境，并在专用硬件上离线运行。SPL 和 nDTW 指标验证了方法的鲁棒性与适应性。
正文 · AI 翻译
摘要：视觉语言导航（VLN）使机器人能够使用自然语言指令在环境中导航，从而实现直观的人机交互。传统的 VLN 模型通常依赖导航图、360 度视图和完美定位，这给将这些模型适配到真实世界场景带来了重大挑战。本工作通过在连续环境中运行、无需导航图或全景视图的 VLN 方法进行仿真到真实的域迁移，解决了这些局限。所提出的系统集成了视觉语言模型，在共享嵌入空间中对齐视觉输入和语言指令，促进自然语言驱动的导航。我们采用基于跨模态注意力（CMA）的架构，在仿真环境中的现有数据集上进行训练，并使用从配备摄像头和 LiDAR 传感器的定制阿克曼转向机器人收集的真实世界数据进行微调。通过利用线性光度调整和在有限回合数上的微调，我们的模型成功适应真实世界环境，在专用硬件上离线运行的同时实现有效导航。使用路径长度加权成功率（SPL）和归一化动态时间规整（nDTW）指标评估的实验结果，证明了我们方法的鲁棒性和适应性。关键词：视觉语言导航、跨模态注意力、自然语言指令、仿真到真实迁移、自主导航、阿克曼转向。
| 主题： | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.07192 [cs.AI] |
| （或 arXiv:2610.07192v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07192 arXiv 颁发的 DOI，通过 DataCite（待注册） |
|
| 相关 DOI： | https://doi.org/10.1109/ICCAR69571.2026.11549553
链接到相关资源的 DOI |
提交历史
来自：Chalindu Abeywansa Nisal [查看电子邮件]
[v1]
2026年10月5日星期一 18:09:22 UTC（2,321 KB）
来源：arXiv cs.AI · arxiv.org