NVIDIA 提出基于 Cosmos 的实时交互式世界模拟框架
Interactive World Simulation with Cosmos for Physical AI
NVIDIA 提出一个共享框架，将 Cosmos 世界基础模型改造为面向 Physical AI 的实时交互式世界模拟，可按动作和场景控制流式输出视觉观测。该框架既支持预测动作带来的视觉后果，也支持根据外部模拟器维护的物理状态生成观测，并在相机导航、机器人操作、可控视频转换和多视角自动驾驶仿真中做了演示。代码、模型权重和项目网站均已公开。
作者：NVIDIA：Anis Ahmad、Jon Allen、Malik Aqeel Anwar、Jesse Archer、Maciej Bala、Piotr Barejko、Aarti Basant、Dan Blick、Taras Bolzhelarskyi、Henry Che、Jin Chen、Yukang Chen、Tae Eun Choe、Yuzhu Dong、Nat Duca、Liang Feng、Francesco Ferroni、Xiao Fu、Mohit Gambhir、Vivek Goel、Rony Goldenthal、Aryaman Gupta、Ali Hassani、Nathan Hayes-Roth、Yong He、Michael Honke、Shengyu Huang、Wei Huang、DeLesley Hutchins、Suneel Indupuru、Pooya Jannaty、Jingyi Jin、Janmesh Kalra、Ashna Khetan、Xin Kong、Aleksandr Korovko、Hui Kuang、Zhengfei Kuang、George Kurian、Jean-Francois Lafleche、Jayjun Lee、Justin Leung、William Lew、Xiang Li、Zhaoshuo Li、Chen-Hsuan Lin、Ming-Yu Liu、Xiangyu Lu、Yuhang Lu、Martin Ding Ma、Qianli Ma、Aditya Mahajan、Miguel Martin、Janarbek Matai、Jonathan McCaffrey、Qing Miao、Ashkan Mirzaei、Mustafa Munir、Sangmin Oh、David Pankratz、Trung Pham、Marilyn Reeb、Gavriel State、Jiaxiang Tang、Shitao Tang、Yue Tang、Tolou Tavakkoli、Alexander Temirov、Hweimi Tsou、Sergei Vasilev、Thomas Volk、Andrew Z. Wang、Hao Wang、Shijie Wang、Zhonghao Wang、David Wehr、Shumian Xin、Mengyao Xu、Yao Xu、Shuai Yang、Sophia Zalewski、Pengcuo Zeren、Cindy Zha、Jing Zhang、Yuliya Zhautouskaya、Kaiwen Zheng、Andrew Zhu、Rick Zhuang
摘要：我们提出了一个共享框架，可将 Cosmos 世界基础模型适配为面向 Physical AI 的实时交互式世界模拟。该框架通过响应动作与场景控制来流式输出视觉观测，使人类用户与具身智能体能够与不断演化的虚拟环境进行交互。它既支持预测动作带来的视觉后果，也支持根据外部模拟器维护的物理状态生成观测。我们在相机导航与机器人操作、可控视频迁移以及多视角自动驾驶（AV）模拟中演示了该方法。这些示例为开发用于 Physical AI 训练与评估的交互式虚拟环境提供了共享基础。我们的代码与模型检查点可在 this https URL 和 this https URL 获取。项目网站见 this https URL。
| Comments: | 项目网站：this https URL |
| Subjects: | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）；机器人学（cs.RO） |
| Cite as: | arXiv:2611.06627 [cs.AI] |
| （或本版本使用 arXiv:2611.06627v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.06627 arXiv 颁发的 DOI 由 DataCite 提供（待注册） |
Submission history
来自：Chen-Hsuan Lin [查看邮箱]
[v1]
2026年11月4日星期三 15:11:04 UTC（47,492 KB）
来源：arXiv cs.AI · arxiv.org