arXiv cs.AI· Seungyong Lee, Suhyeok Jang, Minyoung Kim, Jinwoo Shin·· 10 小时前AI 评分58
RoboTryOn：用虚拟试穿思路从人类视频合成灵巧机器人演示
RoboTryOn: Synthesizing Dexterous Robot Demonstrations from Human Videos via Virtual Try-On
AI 导读
RoboTryOn 提出将人类视频到机器人演示的转换视为虚拟试穿，保留演示动作、把人物替换为参考图指定的目标机器人，同时保留任务、物体和背景。方法上自回归转换关键帧，并以人类手部骨架为运动条件引导视频合成，再用带深度特征的逆动力学模型（IDM）从合成视频推断动作标签用于策略学习。
正文 · AI 翻译
摘要：机器人基础模型在机器人控制中已展现出显著性能，但将其适配到新任务仍严重依赖遥操作演示。以自我为中心的人类视频提供了一种可扩展的替代方案，然而在人类视频上叠加渲染的机器人，或将人类姿态重定向为机器人动作，都会给高自由度机器人形态带来显著的视觉或动作差距。为解决这一局限，我们提出 RoboTryOn，将人形到机器人的转换视为虚拟试穿：试穿保留人并替换服装，RoboTryOn 保留演示动作并将人替换为机器人。具体而言，RoboTryOn 将人类视频转换为由参考图像指定的目标机器人视频，同时保留原始任务、物体和背景。为保持视觉一致性，我们自回归地转换选定的关键帧，并以人类手部骨架为运动条件，用这些关键帧引导视频合成。此外，我们使用融合深度特征的逆动力学模型（IDM），从合成视频中推断动作标签以用于策略学习。我们在多种人形形态上的实验表明，用我们的合成数据训练的策略将新任务（包括具有挑战性的双臂操作）的平均成功率从 2% 提升到 60%，且这些任务没有任何真实机器人演示。此外，用我们的合成数据训练的性能与仅用遥操作演示训练的策略相当，而采集成本约为后者的三分之一，证明了我们方法的成本效率。
| 评论： | 29 页，15 幅图，13 张表。项目页面：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05163 [cs.RO] |
| （或 arXiv:2611.05163v2 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.05163 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Seungyong Lee [查看邮箱]
[v1]
2026 年 11 月 3 日星期二 16:35:42 UTC（4,958 KB）
[v2]
2026 年 11 月 4 日星期三 15:43:46 UTC（4,958 KB）
来源：arXiv cs.AI · arxiv.org