MBZUAI 的 IFM 发布开源 29B 世界模型 PAN 2
MBZUAI 基础模型研究所（IFM）于 2026 年 11 月 10 日在 X 宣布发布开源世界模型 PAN 2，权重、训练代码和推理代码均以 Apache 2.0 开源。
MarkTechPost· Michal Sutter·2026-11-11 15:38· 1 小时前AI 评分55
MBZUAI 的 IFM 发布 PAN 2，一个面向物理 AI 的开源 29B 世界模型
AI 导读
MBZUAI 基础模型研究所（IFM）于 2026 年 11 月 10 日在 X 宣布发布开源世界模型 PAN 2，权重、训练代码和推理代码均以 Apache 2.0 开源。
正文 · 原文
MBZUAI 基础模型研究所（IFM）发布了 PAN 2，一个面向物理智能的开源世界模型。PAN 2 世界模型接收一个场景和一段文本动作，并将结果模拟为视频。IFM 于 2026 年 11 月 10 日在 X 上宣布了这一消息。权重、训练代码和推理代码均以 Apache 2.0 许可发布。对于机器人和智能体开发者而言，其卖点很简单：在行动之前先在模拟中测试计划。
TL;DR
- 规模：29B 参数扩散 Transformer（MMDiT），稠密。输入：文本加可选的首帧。输出：704×1248 视频，24 fps，最长 20 秒。
- 运行环境：数据中心 GPU。每个工作节点以 BF16 持有完整的 29B 模型，并以块卸载作为回退方案。
- 性能：在完整计划上领先 6 个受测模型。在单动作和人类偏好上落后于 MiniMax-H3。
- 最佳：在 100 个多步任务上完整计划完成率为 34.0%，为所有受测模型中最高（自报）。
- 最差：约 2/3 的计划会漏掉一个步骤。Physics-IQ 系统默认值：37.48，而 MiniMax-H3 为 42.91。
- 结论：最佳：一个完全开源的世界模型，在多步计划上领先。最差：长计划仍经常失败，且硬件需求高。
什么是 PAN 2？
PAN 2 是 IFM 的通用世界模型，用于模拟一个场景在动作之后如何变化。它遵循 IFM 的《世界模型批判》论文中的生成式潜在预测（GLP）架构。它接替了 2025 年 11 月发布的 PAN。
其目标是模拟推理。智能体提出计划，PAN 2 模拟每个计划，智能体再基于最佳计划行动。
PAN 2 如何工作？
PAN 2 将模拟拆分为 2 类推理：
- 概念推理：LLM 读取观测和请求的动作。它以结构化 JSON 写出下一个世界状态：事件、绑定到行动者的定时动作，以及相机运动。任何遵循指令的 LLM 都能担任这一角色。IFM 的报告默认使用 Kimi K3。
- 感知推理：一个 29B MMDiT 预测视频潜在表示。IFM 从零开始训练它，使用了数亿条带标注的视频。一个冻结的 Qwen3.5-9B 文本编码器为其提供条件。Wan 2.2 VAE 解码器渲染最终帧。
IFM 的消融实验表明 LLM 很重要。没有概念推理时，完整计划完成率从 34.0% 降至 0.0%。步骤完成率从 75.1% 降至 8.7%。仅做格式重写可恢复部分差距，达到 27.8% 的完整计划完成率。
IFM 还在早期训练后剔除了游戏、动画和模拟素材。一个未使用这些素材训练的 9B 测试模型在盲测投票中赢得了 58%。
PAN 2 在基准测试上表现如何？
以下所有数字均由 IFM 自报。其自有测试套件覆盖 6 项能力，包含 300 个单动作案例，外加 100 个多步任务。
- 完整计划完成率：34.00%，而 MiniMax-H3 为 32.50%，FLUX 3 为 26.77%，Seedance 2.5 为 24.49%。
- 步骤完成率：75.10%，与 MiniMax-H3 的 75.12% 持平。
- 综合 6 项能力：84.48% 对 MiniMax-H3 的 87.20%。MiniMax-H3 在全部 6 个类别中领先。
- Physics-IQ Verified（排行榜设置）：49.38，在开源模型中排名第一。闭源 FLUX 3 得分为 51.11。
- RBench：57.04，对比 MiniMax-H3 的 56.16 和 Cosmos 3 Super 的 50.64。
- Human Elo：搭配 GPT-6 Astra 推理器时为 1595，落后于 MiniMax-H3 的 1620。
PAN 2 对比 MiniMax-H3、Cosmos 3 Super 和 LTX-2.5
| 特性 | PAN 2 | MiniMax-H3 | Cosmos 3 Super | LTX-2.5 |
|---|---|---|---|---|
| 开发者 | IFM (MBZUAI) | MiniMax | NVIDIA | Lightricks |
| 生成器规模 | 29B MMDiT | 33B 稠密 transformer（约 13B 位于可缓存的 AdaLN 分支中） | 64B Mixture-of-Transformers | 22B transformer（依据各检查点文件名） |
| 规划器 / 编码器 | 任意 LLM + 冻结的 Qwen3.5-9B 编码器 | Qwen3-VL-32B 编码器；托管的 Context-IR | 内置自回归塔 | 基于 Gemma 的文本编码器 |
| 最长片段 | 20 秒，704×1248，24 fps | 15 秒，24 fps，768p（通过托管模块支持 2K） | 400 帧 | 未披露 |
| 音频 | 否 | 是，立体声 | 是 | 是 |
| 许可证 | Apache 2.0 | MiniMax H3 Community License | OpenMDW 1.1 | LTX-2.x Community License |
| 训练代码 | 是 | 未披露 | GitHub 上的框架 | 未披露 |
| 完整计划完成度* | 34.00% | 32.50% | 13.83% | 13.00% |
| Physics-IQ Verified（排行榜）* | 49.38 | 39.79 | 48.62 | 未报告 |
| Human Elo* | 1595 | 1620 | 1380 | 1346 |
*分数来自 IFM 的 PAN 2 模型卡，由 IFM 运行。博客报告的 Cosmos 3 Super 和 LTX-2.5 计划分数不同。
如何运行 PAN 2？
PAN 2 支持文生视频和图生视频。你可以通过 Hugging Face Diffusers、vLLM、FastVideo 或仓库中的 generate.py 来运行它。
默认采样器使用 50 步、flow shift 9 和 guidance 2.5。一个片段默认 241 帧，约 10 秒。每个 GPU worker 以 BF16 加载完整的 29B 模型。IFM 未公布显存占用或生成时间。
提示词以结构化描述效果最佳。IFM 提供了一个用于 Claude Code 和 Codex 的 Conceptual Reasoner skill，可重写自由文本。描述有 1,536 个 token 的硬性预算。
IFM 强烈建议使用单独的 pan2-guardrail。在 IFM 的测试中，它将有害 T2V 请求产生的不安全输出从 33.9% 降至 1.5%。它同时也拦截了 11.5% 的良性 T2V 请求。
关键要点
- PAN 2 将 LLM 规划器与从零训练的 29B 扩散模型配对。
- 它在完整计划完成度上以 34.0% 领先 6 个受测模型。
- MiniMax-H3 仍在单一动作和人类偏好上胜出。
- 权重、训练和推理代码均为 Apache 2.0。
- 移除 LLM 规划器会使完整计划完成度降至 0%。
查看 模型权重、GitHub 仓库、技术博客 和 press release。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ML SubReddit 并订阅 我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章 MBZUAI 的 IFM 发布 PAN 2，一个面向物理 AI 的开源 29B 世界模型 首次出现在 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news