NVIDIA 发布 OmniDreams 实时生成式世界模型，用于自动驾驶闭环仿真
NVIDIA OmniDreams: Real-Time Generative World Model for Closed-Loop Autonomous Vehicle Simulation
NVIDIA 提出 OmniDreams，从 Cosmos 扩散模型经中期与后期训练得到，可实时自回归生成以驾驶动作为条件的视频。该模型在 21k 小时驾驶场景上训练，能合成极端天气和不可预测动态智能体等传统仿真器难以捕捉的现象，并与 Alpamayo 1 策略模型、AlpaSim 编排器组成闭环系统。
作者：Aarti Basant、Amlan Kar、Despoina Paschalidou、Fangyin Wei、Francesco Ferroni、Guillermo Garcia Cobo、Haithem Turki、Huan Ling、Jaewoo Seo、James Lucas、Jay Zhangjie Wu、Jialiang Wang、Jonathan Lorraine、Jun Gao、Kai He、Katarina Tothova、Kevin Xie、Michal Tyszkiewicz、Qi Wu、Riccardo de Lutio、Ruilong Li、Sanja Fidler、Seung Wook Kim、Tianchang Shen、Tianshi Cao、Tobias Pfaff、William Lew、Xindi Wu、Xuanchi Ren、Yifan Lu、Yuxuan Zhang、Zan Gojcic、Zian Wang
摘要：随着自动驾驶汽车能力的提升，在长尾场景中安全评估驾驶策略仍是一个关键瓶颈。在闭环仿真中，驾驶策略模型与环境主动交互，其动作会动态更新模拟器状态，并直接影响下一组生成的传感器观测。尽管近期基于重建的神经模拟器能够提供照片级真实感，但它们从根本上受限于初始采集的数据，难以泛化到高度动态或新颖的场景。为克服这些局限，我们推出 OmniDreams，这是一个基础生成式世界模型，基于 Cosmos 扩散模型进行中期训练与后期训练，以自回归方式实时生成动作条件视频。借助 Cosmos 丰富的视觉先验，并在 21k 小时的驾驶场景上进行中期训练与后期训练，OmniDreams 能够合成传统模拟器难以捕捉的复杂、未观测现象，例如极端天气和不可预测的动态智能体行为。关键在于，它以自回归方式将照片级真实感的传感器生成建立在过去帧、当前模拟器状态和即时驾驶动作之上。在与 Alpamayo 1 策略模型和 AlpaSim 编排器组成的闭环系统中部署时，OmniDreams 充当高度响应、反应式的环境，为训练和评估下一代自动驾驶策略提供了可扩展且全面的解决方案。我们还展示了初步结果，表明从 OmniDreams 后期训练得到的世界-动作模型（WAM）在 Physical AI Autonomous Vehicles NuRec 数据集上取得了强劲表现，在仅使用 1/5 总参数量的情况下超越了基于 VLA 的 Alpamayo 1.5 研究策略模型。这些结果凸显了像 OmniDreams 这样的实时世界模型也有潜力作为策略架构的骨干。
| 评论： | 研究博客：此 https URL，GitHub：此 https URL，模型权重：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2606.03159 [cs.CV] |
| （或 arXiv:2606.03159v4 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.03159 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Jialiang Wang [查看邮箱]
[v1]
2026年6月2日 星期二 05:11:05 UTC（45,358 KB）
[v2]
2026年7月23日 星期四 22:35:14 UTC（22,680 KB）
[v3]
2026年9月23日 星期三 19:11:35 UTC（22,679 KB）
[v4]
2026年11月12日 星期四 05:36:26 UTC（22,680 KB）
来源：arXiv cs.AI · arxiv.org