arXiv cs.AI· Yaru Niu, Binghong Chen, Changwei Yao, Shangtao Li, Zhenlong Fang, Revanth Krishna Senthilkumaran, Shuai Zhou, Yuemin Mao, Kalie Ching, Po-Ju Chao, Yudong Luo, Peiqi Yu, Heng Zhang, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Ye Yuan, Umar Iqbal, Changliu Liu, Jonathan Francis, Ding Zhao·· 1 天前AI 评分44
EgoX：用“具身 dreaming”实现第一人称跨具身操作
EgoX: Egocentric Cross-Embodiment Manipulation with Embodiment Dreaming
AI 导读
EgoX 是一个第一人称跨具身学习框架，通过语义对应的观测与动作模态组织异构演示，预训练模块化跨具身 Transformer MXT+ 并在目标具身上微调。在覆盖 5 个任务、6 种机器人具身（含 5 台实体机器人与 1 个仿真人形）的 13 个任务-具身组合上，跨具身预训练将平均归一化任务进度从 0.63 提升至 0.80，分布外条件下从 0.53 提升至 0.77。
正文 · AI 翻译
作者：Yaru Niu、Binghong Chen、Changwei Yao、Shangtao Li、Zhenlong Fang、Revanth Krishna Senthilkumaran、Shuai Zhou、Yuemin Mao、Kalie Ching、Po-Ju Chao、Yudong Luo、Peiqi Yu、Heng Zhang、Hao Zhang、Bingqing Chen、Chen Qiu、H. Eric Tseng、Ye Yuan、Umar Iqbal、Changliu Liu、Jonathan Francis、Ding Zhao
摘要：通用操作策略可以从人类、真实机器人和模拟智能体的互补经验中受益。然而，形态、感知和控制接口的差异使得难以从它们的联合演示中有效学习。我们提出 EgoX，一个以自我为中心的跨具身学习框架，通过语义对应的观测和动作模态来组织异构演示。EgoX 在该混合数据上预训练带有具身 dreaming 的模块化跨具身 Transformer（MXT+），并在目标具身的演示上对其进行微调。在每个具身内部，MXT+ 为每个观测模态分配专用的 tokenizer，为每个动作模态分配专用的专家，并让 Transformer 主干在各具身之间共享。一个仅在训练时使用的具身 dreaming 目标预测未来视觉和本体感知状态的潜在表示，促使共享主干对每个具身的动力学进行建模。在涵盖五个任务和六种机器人具身（包括五个物理机器人和一个模拟人形机器人）的 13 个任务-具身组合上，跨具身预训练使 MXT+ 的平均归一化任务进度从从头训练的 0.63 提升到 0.80。在分布外条件下提升尤为明显，平均任务进度从 0.53 提升到 0.77。消融实验证明了更广泛的预训练混合数据、模块化接口和具身 dreaming 的益处，其中 dreaming 使各具身之间的潜在几何更加相似。项目页面：this http URL。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.16728 [cs.RO] |
| （或 arXiv:2611.16728v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16728 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yaru Niu [查看邮箱]
[v1]
2026年11月12日 星期四 12:40:24 UTC（24,155 KB）
来源：arXiv cs.AI · arxiv.org