arXiv cs.CL· Kyusong Lee, Heting Ying, Tiancheng Zhao·· 3 天前AI 评分24
VLX-Go：通过多阶段学习与同策略精炼实现鲁棒具身跟踪
VLX-Go: Robust Embodied Tracking through Multi-Stage Learning and On-Policy Refinement
AI 导读
VLX-Go 是一个视觉-语言航点策略，通过视觉-语言对齐、多模态推理中期训练和跟踪专项训练的多阶段流程，在 19,532 条 oracle 轨迹上训练，将干扰物跟踪成功率从 OmTrackVLA 的 41.54% 提升至 55.80%。
正文 · AI 翻译
摘要：具身视觉跟踪要求机器人从视觉观测中识别指定目标，并控制自身运动以在环境中跟随该目标。跟随一个孤立的人是具身视觉跟踪中相对简单的演示，但在干扰者中跟随目标人仍然具有挑战性。现有方法从单目标跟踪到干扰者跟踪的成功率大幅下降，这促使我们关注跟随机器人必须穿行的共享空间。我们提出 \method{}，一种视觉—语言路点策略，其构建基于这样一个假设：在跟踪特定的运动被学习之前，视觉和语言表示应当先对齐。该策略结合了互补的冻结视觉编码器、多尺度时间上下文、Transformer 主干网络，以及用于以机器人为中心的路点预测的轻量级头部。其训练依次经过视觉—语言对齐、多模态推理中期训练，以及在 19,532 个 oracle 回合上的跟踪专门化。与我们此前的 OmTrackVLA 模型 41.54\% 的干扰者跟踪成功率相比，完整的多阶段方案达到 55.80\%。随后，我们探索使用经过滤的 oracle 标签对策略访问过的状态进行同策略精炼。这项初步研究将干扰者跟踪成功率提高了 2.42 个百分点，达到 58.22\%，同时将碰撞率降低了 1.99 个百分点。最终策略在对比方法中取得了最高的干扰者和模糊跟踪成功率。这些结果支持将分阶段多模态学习作为在干扰者中跟踪的一个有前景的方向，并推动对共享空间中跟随人的同策略精炼的进一步研究。
| Comments: | 技术报告 |
| Subjects: | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器人学（cs.RO） |
| Cite as: | arXiv:2610.19361 [cs.CV] |
| （或 arXiv:2610.19361v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19361 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tiancheng Zhao [查看电子邮件]
[v1]
2026年10月14日星期三 01:02:16 UTC（4,577 KB）
来源：arXiv cs.CL · arxiv.org