arXiv cs.AI· Yutian Zhang, Xingrui Xiong, Siyuan Ma, Yang Li, Jiawen Wen, Jiaqi Zhai, Liwen Yang, Ce Hao, Haozhen Chi, Yangkun Zhu, Yifan Zhu, Xiaowen Chu, Dong Wei, Qiaojun Yu, Dibo Hou·· 10 天前AI 评分27
VOMMI：面向移动操作的可携带演示采集与学习框架
VOMMI: Collecting and Leveraging Portable Demonstrations for Mobile Manipulation
AI 导读
研究者提出 VOMMI，一个将可携带 RGB 演示连接到 VLA 后训练的可携带演示采集与学习框架，通过离线轨迹重建与在线视觉-运动条件化实现，无需遥操作或额外传感硬件。
正文 · AI 翻译
作者：Yutian Zhang、Xingrui Xiong、Siyuan Ma、Yang Li、Jiawen Wen、Jiaqi Zhai、Liwen Yang、Ce Hao、Haozhen Chi、Yangkun Zhu、Yifan Zhu、Xiaowen Chu、Dong Wei、Qiaojun Yu、Dibo Hou
摘要：便携式移动操作演示有助于缓解具身智能的数据稀缺问题，但从 RGB 观测中获取可靠、低成本且无需机器人的运动监督仍然具有挑战性。现有方法通常依赖遥操作或配备额外传感硬件的专用设备，而直接使用估计的视觉里程计（VO）轨迹可能因累积漂移和不完美的运动监督而引入不一致性。我们提出了视觉里程计条件移动操作接口（VOMMI），这是一个便携式演示采集与学习框架，通过离线轨迹重建和在线视觉-运动条件化，将便携式 RGB 演示与视觉-语言-动作（VLA）后训练相连接。VOMMI 同步身体和手部视角，以捕获导航上下文和局部物体交互，而无需人-机器人运动学对应校准。R2-VO 使用稀疏几何锚点细化离线演示轨迹，并在多个预测时域上生成因果局部运动 token，用于在线策略条件化。动作组残差适配器仅将这些 token 并入基础分支。实验对每个任务使用 500 条轨迹的便携式数据集，其中 75 条留出用于 RGB-VO 评估，并以 200 条机器人演示作为参考。我们的策略仅在便携式演示上进行后训练，其基座速度误差比使用机器人采集演示训练的策略低 18.2%，同时保持相当的末端执行器平移精度。离线重建使身体和手部流的绝对轨迹误差相对于各流最佳评估基线平均降低 24.6%。在三个真实机器人任务上，完整系统相比 OpenPI 0.5 将平均成功率提高了 8.3 个百分点。
| Comments: | 9 页，6 幅图 |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08220 [cs.RO] |
| （或 arXiv:2610.08220v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08220 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yutian Zhang [查看电子邮件]
[v1]
2026年10月6日星期二 12:10:48 UTC（4,724 KB）
来源：arXiv cs.AI · arxiv.org