arXiv cs.AI· Wenhao Yan, Haodong Li, Xiaotong Li, Yaxin Luo, Zhengrong Yue, Jialv Zou, Xu Huang, Haojin Yang, Nan Jia, Yan Feng, Peng Pei, Xunliang Cai·· 2 天前AI 评分34
WorldCast：探索世界状态预测中的智能视觉生成
WorldCast: Exploring Intelligent Visual Generation in World State Prediction
AI 导读
研究者提出 WorldCast 基准，包含 8 个类别共 320 个手工设计案例，用于评估多步世界状态预测任务，并测试了 12 个代表性模型。GPT-Image-2.5 System 得分 72.8，展现出早期视觉状态预测能力；Nano Banana Pro 仅得 42.8，最佳开源模型得分 20.1。实验表明强生成模型能有效借助其底层语言模型的能力。
正文 · AI 翻译
作者：Wenhao Yan、Haodong Li、Xiaotong Li、Yaxin Luo、Zhengrong Yue、Jialv Zou、Xu Huang、Haojin Yang、Nan Jia、Yan Feng、Peng Pei、Xunliang Cai
摘要：人类能够解读对世界的多模态观察，并预测其将如何演变。近期的多模态生成系统已展现出类似能力：它们能够整合多模态上下文，并合成描绘世界变化的视觉输出。为刻画这一新兴轨迹，我们将模型能力组织为一个四级层次结构，并发现尽管模型取得了进展，更高层级的任务仍相对缺乏探索。为弥合这一差距，我们探索模型在多步世界状态预测上的表现，这是一项高层级任务，要求模型从多模态观察和多样参考中预测连续的未来世界状态。此类任务要求模型具备相互纠缠的理解与生成能力，以及广泛的世界知识，以将人类动作序列、物理变换和抽象视觉推理转化为连贯的视觉输出。我们提出 WorldCast，一个包含八个类别、320 个手工设计案例的基准，并评估了 12 个代表性模型。所进行的实验得出三项关键洞见：(a) 前沿模型的进步正迅速推动智能世界建模的边界，GPT-Image-2.5 System 得分 72.8，并在真实世界任务上展现出早期阶段的视觉状态预测能力；(b) WorldCast 揭示了模型之间的巨大差距：即便是 Nano Banana Pro 也仅达到 42.8，最佳开源模型得分为 20.1，在处理复杂上下文、纠缠参考和重推理任务方面存在不足；(c) 强大的生成模型能有效利用其底层语言模型的能力。这些发现凸显了需要具备动态规划与推理能力、同时深度统一以忠实模拟真实世界状态的多模态生成模型。
| Comments: | 项目页面：this https URL |
| Subjects: | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.20731 [cs.CV] |
| （或 arXiv:2610.20731v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20731 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenhao Yan [查看电子邮件]
[v1]
2026年10月14日星期三 18:00:07 UTC (22,800 KB)
来源：arXiv cs.AI · arxiv.org