arXiv cs.AI· Zuyao Lin, Jianhui Zhang, Peidong Jia, Xiaoguang Zhao, Shanghang Zhang, Jingdong Wang, Xingyu Chen·· 9 天前AI 评分24
World-Ego Model（WEM）：面向长时程导航-操作任务的具身视频生成世界-自我建模
World-Ego Modeling for Embodied Video Generation in Long-Horizon Navigation-Manipulation Tasks
AI 导读
研究者提出 World-Ego Model（WEM），将具身视频拆解为「世界」（背景与未被操作物体）和「自我」（机器人与被操作物体）并解耦生成过程，结合角色条件注意力（RCA）的视觉-语言状态预测器与语义路由 MoE（SR-MoE）扩散生成器。
正文 · AI 翻译
摘要：具身视频世界模型通常同时捕捉场景演变和机器人行为，我们分别将其称为\emph{世界}和\emph{自我}。世界和自我表现出不同的底层动态：世界预测主要依赖视觉历史并强调场景稳定性，而自我预测更强烈地依赖当前指令并强调准确的指令遵循。在单一生成流中对这两个组件进行建模可能会纠缠这些不同的依赖关系，使得难以对任一组件进行专门化预测。因此，同时保持场景一致性和准确的指令遵循变得困难，尤其是在长时程导航-操作任务中。在本文中，我们提出将具身视频分解为世界和自我，并解耦它们的生成过程。具体而言，我们将世界定义为背景和当前未被操作的对象，将自我定义为机器人和当前被操作的对象。基于这一定义，我们开发了\emph{世界-自我模型}（WEM），它将使用角色条件注意力（RCA）和非对称查询预算的视觉-语言状态预测器与语义路由混合专家（SR-MoE）扩散生成器相结合。为了实现严格的评估，我们进一步构建了 HTEWorld，这是一个用于长时程具身视频生成的数据集和基准，包含混合导航-操作任务，提供 125K 训练视频片段，包含超过 4.5M 帧和细粒度指令，以及 300 条多轮评估轨迹，覆盖超过 2K 条指令。大量实验表明，WEM 在 HTEWorld 上达到了最先进的性能，同时在现有的面向操作的评估中保持竞争力。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2605.19957 [cs.CV] |
| （或 arXiv:2605.19957v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.19957 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zuyao Lin [查看电子邮件]
[v1]
2026年5月19日星期二 15:10:27 UTC（5,620 KB）
[v2]
2026年10月8日星期四 14:46:51 UTC（5,501 KB）
来源：arXiv cs.AI · arxiv.org