跳到正文
arXiv cs.AI· Yequan Bie, Dengyang Jiang, Zhixuan Chen, Xiaozhuan Liang, Haoxuan Che, Quande Liu, Xi Chen, Hao Chen·· 10 小时前AI 评分40

EvoWorld:让生成式视频模型在视野之外推演世界演化

EvoWorld: Towards Out-of-Sight World Evolution in Generative Video Models

AI 导读

EvoWorld 提出“视野外因果演化”(Out-of-Sight Causal Evolution)新任务,要求模型渲染事件后推理其对世界状态的影响,并在视野之外呈现因果合理的结果。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式视频模型正日益被用作视觉世界模拟器,然而其主要优势在于渲染出看似合理的像素,而非推理世界应如何演化。连贯的世界演化不仅需要视觉保真度:当事件发生时,模型必须推断该事件对世界中实体的后果,然后渲染由此产生的状态。例如,当一只野兽出现后,模型不仅应描绘出这只野兽,还应基于实际发生的场景推断附近的人应当逃跑、躲避还是反击。现有的基于扩散的视频模型缺乏维护世界状态并对此类事件条件后果进行推理的显式机制,往往产生视觉上看似合理但行为上静止或因果不一致的输出。为使这一推理差距具体化且可度量,我们提出了一个新问题——视野外因果演化(Out-of-Sight Causal Evolution),它要求模型渲染一个事件、推理其对演化中世界状态的后果,并随着世界继续演化(即使超出视野)揭示出因果上合理的结果。作为基线参考方案,我们提出了 EvoWorld,一个大脑-渲染器协作框架,其中视觉语言模型充当世界大脑:它观察生成的片段,维护对世界的演化性描述,并推理可能的状态转移,而片段自回归视频渲染器则在视觉上实现这些转移。我们进一步提出了 EvoWorld-Data 和 EvoWorld-Bench,用于训练和评估事件实现、因果反应和重访一致性。实验表明,EvoWorld 在保持视觉质量和一致性的同时,相较于近期模型大幅提升了事件条件因果演化能力,为超越当前视野的、推理引导的自主世界演化建立了一个参考点。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.06748 [cs.CV]
  (或 arXiv:2611.06748v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.06748

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yequan Bie [查看邮箱]
[v1] 2026年11月4日星期三 16:26:45 UTC(4,928 KB)

来源:arXiv cs.AI · arxiv.org