arXiv cs.AI· Xi Chen, Zhe Liu, Xiaogang Xu, Jiafei Xu, Chunyi Zhou, Yuan Su, Rui Zeng, Tianyu Du, Kelu Yao, Chao Li, Shouling Ji·· 9 天前AI 评分27
TGIT：为冻结的空中 VLN 智能体翻译轨迹指令
Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
AI 导读
针对冻结的 OpenFly 导航器，用户简短意图指令与训练用详细轨迹指令之间的"指令鸿沟"使成功率从 31.03% 降至 11.33%。
正文 · AI 翻译
作者：Xi Chen、Zhe Liu、Xiaogang Xu、Jiafei Xu、Chunyi Zhou、Yuan Su、Rui Zeng、Tianyu Du、Kelu Yao、Chao Li、Shouling Ji
摘要：空中视觉语言导航（VLN）智能体通常基于细节丰富、与轨迹对齐的指令进行训练，而用户发出的是简短、意图驱动的指令；在冻结的 OpenFly 导航器上，这种 \emph{指令差距} 使成功率（SR）从 $31.03\%$ 降至 $11.33\%$。为扩大翻译器训练规模，我们用人工编写的风格示例提示语言模型，将原始指令转换为成对的、以意图为中心的 Weak 指令，其 SR 为 $15.27\%$。我们提出 \textbf{Trajectory-Grounded Instruction Translator (TGIT)}，这是一个前端模块，保持导航器冻结，并通过学习其轨迹结果将 Weak 输入翻译为智能体可执行的指令。由此得到的 Weak 训练翻译器将 Weak 输入 SR 提升至 $37.93\%$，并零样本迁移到真实人类指令（$11.33\%{\rightarrow}32.51\%$）；它还提升了留出的 OpenFly（$4.95\%{\rightarrow}20.79\%$），并在 CityNav 和 AirVLN 上实现恢复。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.10635 [cs.AI] |
| （或 arXiv:2610.10635v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10635 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xi Chen [查看邮箱]
[v1]
2026年10月7日星期三 13:52:37 UTC（316 KB）
来源：arXiv cs.AI · arxiv.org