arXiv cs.AI· Ammar N. Abbas, Aayush Jain, Prashanth Viswanath, Nivesh Gadipudi, Giulia Vilone, Jim Gibbons·· 1 天前AI 评分34
从遥操作到长程灵巧性：评估灵巧操作的视觉运动技能与离线代理指标
From Teleoperation to Long-Horizon Dexterity: Evaluating Visuomotor Skills and Offline Proxies for Dexterous Manipulation
AI 导读
研究在五指机械手上用约 1,700 次真实机器人试验评估了覆盖七个策略族的 281 个模仿学习策略，任务为 RJ45 连接器抓取与插入。受控消融显示观测与动作表征的影响超过优化器和采样选择：点云策略中感兴趣区域裁剪、机器人基座坐标系表征与点编码器内归一化各提升成功率 70-100 个百分点，视觉-语言-动作策略改用绝对动作预测使插入成功率最高提升 70 个百分点。
正文 · AI 翻译
摘要：模仿学习策略旨在使机器人操作对物体位姿、外观和环境的变化具有鲁棒性，而这些变化会对预先编程的运动构成挑战。然而，真实世界的性能仍然难以预测，因为验证损失等常规优化信号与机器人成功率之间没有一致的关系。为确定决定真实世界性能的设计选择，我们在约 1,700 次真实机器人试验中评估了涵盖七个策略家族的 281 个模仿学习策略，任务为使用五指机械手进行 RJ45 连接器抓取与插入。受控消融实验表明，观测和动作表示的影响超过了常规优化器和采样选择。对于点云策略，感兴趣区域裁剪、在机器人基座坐标系中表示以及在点编码器内归一化，各自使成功率提升 70-100 个百分点。对于视觉-语言-动作策略，采用绝对动作预测而非相对动作预测，使插入成功率提升最多 70 个百分点。技能分解、多视角感知和恢复演示与表现最强的系统相关，尽管其效应未被独立分离。在评估的 67 个离线指标中，只有五个预测运动平滑度和直接性的度量与插入成功率可靠相关（r = -0.70 至 -0.80），且仅在一个策略家族内成立。这些结果将表示选择确定为真实世界模仿学习性能的关键决定因素，并表明离线指标可以筛选策略，但无法替代真实机器人评估。
| 评论： | 已被 CoRL 2026 Workshop 接收 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG）；系统与控制（eess.SY） |
| 引用为： | arXiv:2610.40828 [cs.RO] |
| （或 arXiv:2610.40828v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40828 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ammar Abbas PhD [查看电子邮件]
[v1]
2026年10月29日星期四 18:07:37 UTC（1,397 KB）
来源：arXiv cs.AI · arxiv.org