arXiv cs.AI· Dahyun Chung, Siyoon Jin, Hyunwook Choi, Honggyu An, Junyoung Seo, Hyunsung Kim, Seung Wook Kim, Seungryong Kim·· 9 天前AI 评分22
ME-World:细粒度具身交互的多智能体自我中心世界模型
Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction
AI 导读
研究者提出多智能体自我中心世界模型 ME-World,将多智能体自我中心世界建模定义为多个智能体通过细粒度动作在共享世界中交互的同步自我流生成。该方法在共享 token 序列中联合去噪多条自我流,以所有智能体的目标视角位姿为条件,并用共享环境记忆约束生成,同时提出环境、更新与身份一致性指标。实验显示 ME-World 在共享世界一致性、动作控制、身份保持和视频质量上优于现有方法。
正文 · AI 翻译
摘要:以自我为中心的世界模型根据智能体的动作预测第一人称观测,但大多数只关注单个智能体。真实的具身场景通常涉及多个智能体,它们在共享环境中行动并交互。现有多智能体世界模型依赖粗粒度动作,如移动、相机控制或离散命令,细粒度具身交互仍未得到充分探索。我们将多智能体以自我为中心的世界建模形式化为:为在共享世界中通过细粒度动作交互的多个智能体同步生成自我流。这要求跨视角动作一致性、共享环境一致性,以及交互引发的状态更新的一致传播。我们提出多智能体以自我为中心世界模型(ME-World),它在共享 token 序列中联合去噪多个自我流,将每个流以所有智能体的目标视角位姿为条件,并以共享环境记忆为基础进行生成。我们在真实和合成多智能体数据上训练和评估,并引入针对环境、更新和身份一致性的共享世界一致性指标。实验表明,ME-World 在共享世界一致性、动作控制、身份保持和视频质量方面优于现有方法。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.12299 [cs.CV] |
| (或 arXiv:2610.12299v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12299 arXiv 颁发的 DOI,通过 DataCite(待注册) |
提交历史
来自:Dahyun Chung [查看邮箱]
[v1]
2026年10月8日星期四 16:50:04 UTC(12,706 KB)
来源:arXiv cs.AI · arxiv.org