arXiv cs.AI· Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li, Wenbo Ding, Xiang Deng·· 6 天前AI 评分47
LAPT-Scale：用人类视频潜在动作预训练扩展具身策略
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
AI 导读
LAPT-Scale 提出可扩展的潜在动作预训练范式，其中 LAPT-Scale-LAM 通过解释人类视频帧间视觉变化学习连续潜在动作，为 VLA 策略预训练提供隐式动作监督。在 23.3K 小时第一人称视频上训练后，标注人类视频从 1K 扩展到 5K 小时，真实机器人成功率从 63.3% 提升至 85.0%，并泛化到未见视觉条件。该工作已被 CoRL 2026 接收。
正文 · AI 翻译
摘要：扩展通用机器人策略受限于收集具身交互数据的高昂成本。大规模第一人称人类视频提供了丰富的替代方案，但它们缺少机器人动作标签，且现有动作标注方法在真实世界视觉复杂性和多样化操作动力学下往往噪声较大。我们提出 LAPT-Scale，一种可扩展的潜在动作预训练范式，包含两个组件：LAPT-Scale-LAM 通过解释人类视频中逐帧视觉转换来学习连续潜在动作，并将其用作人类衍生的监督信号；而 LAPT-Scale-Policy 通过人类视频潜在动作预训练、目标机器人具身对齐和任务特定后训练来训练 VLA 策略。与先前向量量化的 LAM 不同，LAPT-Scale-LAM 使用连续潜在空间以保留细粒度运动和交互动力学。我们进一步结合感知、语义和光流对齐信号，以超越像素重建来改进转换级监督。在 23.3K 小时的第一人称视频上训练后，LAPT-Scale-LAM 为策略预训练提供隐式动作监督，产生一致的扩展增益，并随着标注人类视频规模从 1K 小时扩展到 5K 小时，将真实机器人成功率从 63.3% 提升至 85.0%。学习到的策略还能泛化到未见过的视觉条件。
| 评论： | 已被 CoRL 2026 接收；含附录共 24 页 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器人学 (cs.RO) |
| 引用为： | arXiv:2610.13732 [cs.CV] |
| （或 arXiv:2610.13732v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13732 arXiv 颁发的 DOI（通过 DataCite，待注册） |
提交历史
来自：ZhiYuan Xiang [查看邮箱]
[v1]
2026年10月9日星期五 15:29:20 UTC（6,528 KB）
来源：arXiv cs.AI · arxiv.org