arXiv cs.AI· Songruo Chen, Yuqian Fu, Yu Li, Mingkang Dong, Sifan Zhou, Bin Ren, Xu Zheng, Tianwen Qian, Mohamed Elhoseiny, Yanwei Fu·· 3 天前AI 评分29
EgoOmniWorld：以自我-动作-世界交互统一第一人称视频理解
EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions
AI 导读
研究者提出 EgoOmniWorld 基准，以"自我-动作-世界"交互循环为统一原则，围绕 Node、Edge、Chain、Loop 四种交互结构组织，包含 24,166 个 QA 组（20,284 训练、3,882 测试）。
正文 · AI 翻译
摘要：第一人称视频理解涵盖多种能力、模态和评估形式，然而尽管它们在现实世界交互中紧密耦合，却往往被孤立地研究。我们提出自我-动作-世界交互循环作为统一原则：佩戴者感知世界、形成目标、采取行动、改变世界，并利用反馈来指导后续行为。基于这一视角，我们提出了 EgoOmniWorld，一个围绕四种互补交互结构组织的基准：节点（Node）捕捉自我、动作和世界状态；边（Edge）捕捉它们之间的有向关系；链（Chain）捕捉关联依赖；环（Loop）捕捉反馈闭环交互。我们开发了一条交互优先、基于证据的数据流水线，从第一人称视频中提取结构化交互，将其锚定在视觉和听觉证据中，并根据其交互结构生成问题。所需模态以及单轮或多轮格式自然源于支撑证据和依赖关系。EgoOmniWorld 包含 24,166 个问答组，其中包括 20,284 个训练样本和 3,882 个测试样本。在具有代表性的开源和闭源多模态大语言模型上进行的实验揭示了各交互结构存在显著且不均衡的局限性。在 EgoOmniWorld 上训练的模型提升了域内交互理解能力，并能泛化到现有的第一人称基准。EgoOmniWorld 为评估和推进第一人称视频理解提供了统一的基础。数据、代码和模型将予以发布。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18499 [cs.CV] |
| （或 arXiv:2610.18499v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18499 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Songruo Chen [查看电子邮件]
[v1]
2026年10月13日星期二 14:53:16 UTC（22,844 KB）
来源：arXiv cs.AI · arxiv.org