arXiv cs.AI· Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu·· 3 天前AI 评分36
EgoWAM：用野外第一视角人类数据训练超越像素的世界动作模型
EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data
AI 导读
EgoWAM 是一个固定策略骨干、动作头与数据配比、仅改变世界预测目标的人类-机器人协同训练框架，对比 Pixel、DINO 与 3D motion flow 三种世界表示。在三个真实双臂任务上，基于 DINO 的预测将分布外物体与场景泛化能力最高提升 4 倍，3D flow 将域内性能提升 20-30%，而像素预测迁移效果较弱。
正文 · AI 翻译
摘要：第一人称人类数据为机器人操作提供了可扩展的监督。然而，行为克隆会将物体、场景和任务语义等可迁移内容与人类形态、头部运动和行为风格等不可迁移因素纠缠在一起。我们研究世界动作模型（WAMs）是否能通过要求策略不仅预测动作，还预测场景如何演变，从而提供更好的训练信号。核心问题是：什么样的世界表示最能实现从人类到机器人的迁移。我们假设，有效的世界目标应当抽象外观、捕捉与智能体无关的物理效应，并将相机运动与环境变化分离。我们提出 EgoWAM，一个受控的人机协同训练框架，它固定策略主干、动作头和混合数据，仅改变世界预测目标，比较 Pixel、DINO 和 3D 运动流。在三个真实世界双臂任务中，WAM 协同训练在利用野外第一人称人类数据时比行为克隆更具扩展性。基于像素的预测迁移效果较弱，而 DINO 和 3D 流带来显著提升：DINO 将分布外物体和场景泛化能力提升最多 4 倍，3D 流将域内性能提升 20-30%。更多细节：此 https URL
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.08436 [cs.RO] |
| （或 arXiv:2607.08436v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.08436 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Baoyu Li [查看邮箱]
[v1]
2026年7月8日星期三 16:11:37 UTC（82,547 KB）
[v2]
2026年10月13日星期二 05:21:40 UTC（27,189 KB）
来源：arXiv cs.AI · arxiv.org