arXiv cs.AI· Billy Yan, Isaac Tu, Kelly Lee, Blake Chang, Kenny Ma, Kanad Patel, Dhawal Kabra, Neer Patel, Kevin Wu, Lerrel Pinto, Irmak Guzey·· 3 天前AI 评分62
Steertuning：用 5 段人类视频让机器人学会新任务
Steertuning Policies from a Few Human Videos
AI 导读
研究者提出 Steertuning 系统，让机器人在新环境中仅凭 5 段人类演示学习新任务，整个流程从数据采集到策略部署不到 5 分钟。该系统先在 100 小时带密集标注的第一人称人类交互数据上预训练一个 400M 参数的扩散策略，再针对新任务微调 2 分钟（2000 次训练更新），并在反向采样时用与部署环境观测最接近的演示来引导动作。
正文 · AI 翻译
作者：Billy Yan、Isaac Tu、Kelly Lee、Blake Chang、Kenny Ma、Kanad Patel、Dhawal Kabra、Neer Patel、Kevin Wu、Lerrel Pinto、Irmak Guzey
摘要：当前的机器人学习方案需要大量机器人演示才能获得稳健且自适应的策略。在这项工作中，我们提出了 Steertuning，一个使机器人能够在不到 5 分钟内通过 5 次人类演示在新环境中学习新任务的系统。
Steertuning 由两部分组成。(1) 我们在以自我为中心的人类数据集上预训练了一个 400M 参数的扩散策略，该数据集包含 100 小时密集标注的随机交互。这种预训练使 Steertuning 对背景差异具有稳健性，并在部署到新任务时实现空间和物体泛化。(2) 给定新任务的 5 次演示，我们仅用 2 分钟（2000 次训练更新）微调我们的模型，并在反向采样期间使用与部署环境观测最接近的演示来引导策略的动作。结合精心设计的用于具身迁移的数据处理流程，这使 Steertuning 在 12 个新环境中的 12 个任务上实现了 71% 的成功率，涵盖从实验室环境到新住宅厨房的场景。整个过程，从为新任务收集数据到机器人策略部署，耗时不到 5 分钟。我们的完整数据集、模型权重、代码库和机器人视频将在我们的网站上提供：this https URL。
| 主题： | 机器人学 (cs.RO)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.18711 [cs.RO] |
| （或 arXiv:2610.18711v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18711 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Irmak Guzey [查看邮箱]
[v1]
2026年10月13日星期二 16:55:32 UTC (3,606 KB)
来源：arXiv cs.AI · arxiv.org