arXiv cs.AI· Lin Long, Tianren Ma, Zhong Chu, Di Wu, Maosong Cao, Qixiang Ye, Junbo Zhao, Shanghang Zhang·· 10 小时前AI 评分34
Ego Guidance：用无动作人类第一视角视频增强机器人策略学习
Ego Guidance: Enhancing Robot Policy Learning with Action-Free Human Egocentric Videos
AI 导读
研究者提出 SPAR（Shared Prediction on Action and Representation），一种基于预训练 VLM 的 MoT 架构，让未来视觉状态预测与动作预测并行提供独立互补的学习信号。实验显示，从第一视角视频学到的表征能提升机器人在分布外任务上的表现，且随视频数据规模扩大收益进一步提升。研究还考察了目标函数选择与数据筛选的影响。
正文 · AI 翻译
摘要：在本文中，我们研究了人类第一视角视频如何在无动作监督的情况下有益于机器人策略学习。基于预训练的 VLM，我们提出了动作与表征共享预测（SPAR），这是一种 MoT 架构，其中未来视觉状态预测可以与动作预测一起提供独立且互补的学习信号。我们发现，从第一视角视频中学到的表征能够提升下游在分布外机器人任务上的性能，并且随着视频数据规模的扩大而进一步提升。我们还研究了目标选择和数据整理的影响，为如何利用无动作视频实现可扩展的机器人学习提供了见解。
| 评论： | 项目页面：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.13685 [cs.RO] |
| （或 arXiv:2611.13685v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13685 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianren Ma [查看电子邮件]
[v1]
2026年11月10日星期二 07:33:35 UTC（2,512 KB）
来源：arXiv cs.AI · arxiv.org