arXiv cs.AI· Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong·· 9 天前AI 评分28
HIL-UMI：将 VLA 模型人在回路后训练带入通用操作接口
HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
AI 导读
HIL-UMI 是一个基于通用操作接口（UMI）的免机器人人在回路 VLA 后训练框架，可在手持演示时查询当前策略而不执行其预测。它用 Energy Score 对比人类动作轨迹与策略推理，在差异指示分布外状态时触发数据采集，并通过在线优势预测筛选关键片段来改进基于进度的优势估计器。
正文 · AI 翻译
作者：Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen, Hao Dong
摘要：大规模视觉-语言-动作（VLA）模型为机器人操作提供了强大的先验知识，但将其适配到特定部署场景仍然具有挑战性。基于任务特定演示的监督微调（SFT）为部署迈出了一步，但面临两个长期存在的局限：静态数据对分布外状态的覆盖有限，且标准模仿目标无法区分有进展的行为与用处较小的数据。交互式后训练可以解决这些局限，但通常需要在物理机器人上反复执行策略并进行人工干预。我们提出 HIL-UMI，一种策略引导的通用操作接口（UMI）框架，用于无需机器人的人类在环 VLA 后训练。在手持 UMI 演示过程中，HIL-UMI 在相同的观测流上查询当前策略，但不执行其预测。能量分数将人类动作轨迹与策略推理进行比较，当二者差异表明处于分布外区域时触发采集。在另一个反馈回路中，低在线优势预测会识别出关键片段，用于改进基于进展的优势估计器。更新后的估计器随后使用基础演示与新策略数据的平衡混合来引导优势条件行为克隆。该设计保留了人类在环学习的迭代性和策略感知特性，同时将数据采集与机器人部署解耦。在涵盖长时程和精细操作的四项真实世界任务上的实验表明，HIL-UMI 相比 SFT 取得了一致提升，并受益于定向采集和优势改进。此外，HIL-UMI 在 Clean Up Table 任务上以更低的每帧采集时间优于 HG-DAgger，表明这是一条可跨操作者和地点扩展的 VLA 后训练路径。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.20659 [cs.RO] |
| （或 arXiv:2609.20659v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.20659 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zimu Han [查看邮箱]
[v1]
2026年9月17日星期四 16:38:37 UTC（21,425 KB）
[v2]
2026年10月8日星期四 12:57:50 UTC（21,427 KB）
来源：arXiv cs.AI · arxiv.org