跳到正文
Hacker News· KazaNLP·· 9 天前AI 评分22

顶尖研究者预测 2027 年世界模型将迎突破

World Models Breakthrough in 2027 – Top Researchers

AI 导读

多位顶尖研究者按子领域梳理了世界模型的研究版图,涵盖 Yann LeCun 的 JEPA、Fei-Fei Li 的 3D 空间智能、Danijar Hafner 的 Dreamer 系列、Tim Rocktäschel 的 Genie 等方向。Danijar Hafner 的 Dreamer 4(2025)成为首个仅靠离线数据、无需环境交互即在 Minecraft 中获得钻石的智能体。

正文 · AI 翻译

什么是世界模型?

世界模型是一种 AI 系统,它学习环境如何演变的内部预测性表征——让智能体无需先在真实世界中行动,就能想象未来状态、规划动作并推理因果关系。世界模型涵盖视频生成、交互式仿真、3D 空间智能、JEPA 式联合嵌入预测,以及基于模型的强化学习。 这些预测模型为未来的智能体和机器人提供训练、仿真与规划基础设施。投资面既涵盖模型架构,也涵盖围绕它们构建的部署栈。

按子领域划分的世界模型研究者

子领域领军研究者为何重要代表性工作
自监督世界模型(JEPA)Yann LeCun · Mahmoud Assran · Michael Rabbat · Saining Xie · Pascal Vincent · Ishan Misra · Piotr Bojanowski从视频中学习预测性表征,而无需生成像素。A Path Towards Autonomous Machine Intelligence (JEPA)
作为世界仿真的视频生成Bill Peebles · Tim Brooks · Sergei Tulyakov · Cristóbal Valenzuela · Agrim Gupta · Zangwei Zheng兼具视觉世界仿真器功能的大规模视频模型。Scalable Diffusion Models with Transformers (DiT)
3D 与空间智能Fei-Fei Li · Justin Johnson · Ben Mildenhall · Christoph Lassner · Aleksander Holynski · Jiajun Wu从图像和文本重建或生成的持久、可导航的 3D 世界。NeRF: Representing Scenes as Neural Radiance Fields
基于模型的强化学习与智能体Danijar Hafner · David Ha · Nicklas Hansen · Jurgis Pasukonis · Pieter Abbeel · Eloi Alonso在习得的、想象出的世界模型中学习和规划的智能体。Mastering Diverse Domains through World Models (DreamerV3)
交互式与可玩世界模型Tim Rocktäschel · Jack Parker-Holder · Stephen Spencer从单一提示生成可控、可玩的环境。Genie: Generative Interactive Environments
驾驶与导航世界模型Alex Kendall · Anthony Hu · Amir Bar · Gaoyue Zhou · Yunzhu Li面向自动驾驶和视觉导航的预测性世界模型。Learning to Drive in a Day

先驱领域定义者 · 8

Pieter Abbeel

学术界前沿实验室

加州大学伯克利分校 EECS 教授 · 亚马逊学者 / 亚马逊 AGI 组织 LLM 工作负责人

博士 · 斯坦福大学 — Andrew Ng

伯克利深度强化学习/机器人学习领军人物;联合创立 Covariant;现负责亚马逊 LLM/AGI 机器人工作

深度强化学习和模仿学习的先驱。推动了 UniSim 和 Large World Model,以及近期在数万小时人类视频上训练的通用机器人世界模型(DreamDojo)。

LinkedInWebsiteScholarWikipediaXCovariantCovariant on X

关键论文

Chelsea Finn

学术界创业公司

斯坦福大学计算机科学与电子工程系副教授 · Physical Intelligence 联合创始人

博士 · UC Berkeley — Sergey Levine 和 Pieter Abbeel

MAML 元学习的共同创造者;Physical Intelligence(机器人基础模型)联合创始人

机器人元学习与视觉预见(visual foresight)的先驱。Physical Intelligence 的 pi-0.6(面向 VLA 的 RL 自我改进)以及 Ctrl-World / VLAW 的共同作者,这些工作利用视频世界模型来评估和改进机器人策略。

LinkedInWebsiteScholarWikipediaXPhysical IntelligencePhysical Intelligence on X

David Ha

创业公司

Sakana AI 联合创始人兼 CEO

博士 · 东京大学

开创性论文《World Models》的作者;Sakana AI(受自然启发的基础模型)联合创始人兼 CEO

2018 年奠基性论文《World Models》的共同作者,该论文引入了为控制而学习环境的紧凑预测模型的现代框架。现就职于 Sakana AI。

LinkedInWebsiteScholarXSakana AISakana AI on X

Danijar Hafner

创业公司

Embo 联合创始人

博士 · 多伦多大学 — 导师为 Jimmy Ba(Vector Institute / 多伦多大学)

Dreamer 系列世界模型智能体(DreamerV3、Dreamer 4)的创造者;通过想象进行 RL

Dreamer 系列基于模型的 RL 的创造者。Dreamer 4(2025)是首个仅凭离线数据、无需与环境交互就在 Minecraft 中获得钻石的智能体——这是在想象的世界模型中训练智能体的里程碑。

WebsiteScholarX

关键论文

Kaiming He

学术界前沿实验室

麻省理工学院 EECS 终身副教授 · Google DeepMind 杰出科学家(兼职)

博士 · 香港中文大学 — 汤晓鸥

ResNet(深度残差学习)的第一作者;也是 Faster R-CNN、Mask R-CNN、MAE 的作者

ResNet 和 Masked Autoencoders(MAE)的作者,属于深度学习领域被引用最多的工作之列。近期的生成式工作(JiT、改进的 Mean Flows)将扩散式模型推向单步、无分词器生成——这是视频世界模型的核心基础设施。

WebsiteScholarWikipedia

Yann LeCun

创业公司学术界

AMI Labs(Advanced Machine Intelligence)创始人兼执行主席 · 纽约大学教授

博士 · 巴黎皮埃尔和玛丽·居里大学(索邦 / UPMC)— 博士论文研究反向传播;后在多伦多大学跟随 Geoffrey Hinton 做博士后

图灵奖得主,CNN/深度学习先驱;JEPA 世界模型架构的倡导者

图灵奖得主,联合嵌入预测架构(JEPA)的提出者,这是自回归世界模型之外领先的自监督替代方案。其团队在 2025–26 年的工作将 JEPA 扩展为一个可部署的系列——VL-JEPA、Causal-JEPA,以及从真实场景视频中学习的潜在动作世界模型。

LinkedInWebsiteScholarWikipediaXAMI Labs(Advanced Machine Intelligence)on X

关键论文

Fei-Fei Li

创业学术界

World Labs 联合创始人兼 CEO · 斯坦福大学计算机科学 Sequoia 教授;斯坦福大学 HAI 联合主任

博士 · 加州理工学院(Caltech)——导师为 Pietro Perona(以及 Christof Koch)

创建了 ImageNet;World Labs 联合创始人兼 CEO,构建空间智能世界模型(Marble)

ImageNet 的创建者,也是“空间智能”的思想领袖。联合创立了 World Labs,该公司融资约 10 亿美元,并推出了 Marble(从文本/图像生成持久 3D 世界)、World API,以及可在单块 GPU 上运行的实时交互式世界模型。

LinkedInWebsiteScholarWikipediaXWorld Labs

关键论文

Tim Rocktäschel

创业学术界

Recursive(Recursive Superintelligence)联合创始人兼 CEO · 伦敦大学学院人工智能教授

博士 · 伦敦大学学院(UCL)——导师为 Sebastian Riedel

在 DeepMind 领导 Genie 基础世界模型与开放性研究;UCL 人工智能教授;Recursive 联合创始人

在 Google DeepMind 领导交互式世界模型研究,包括 Genie 系列基础世界模型,可从单一提示生成可玩、可控的环境。

LinkedInWebsiteXRecursive(Recursive Superintelligence)on X

关键论文

领军研究者塑造当今该领域 · 30

Mahmoud Assran

前沿实验室

Meta FAIR 研究科学家

博士 · 麦吉尔大学——Mila(魁北克人工智能研究所)

Meta FAIR 的 I-JEPA、V-JEPA 和 V-JEPA 2 自监督世界模型架构的第一作者

I-JEPA 和 V-JEPA 的第一作者,这是 LeCun 在 Meta AI 的自监督世界模型范式在图像和视频上的实例化。

LinkedInWebsiteMeta AI (FAIR)

关键论文

Piotr Bojanowski

前沿实验室

研究科学家兼经理,Meta (FAIR)

博士 · 巴黎高等师范学院 (ENS) — WILLOW 团队;导师 Ivan Laptev、Jean Ponce、Cordelia Schmid、Josef Sivic

FAIR 巴黎研究负责人;fastText、DINO/DINOv2 和 I-JEPA 自监督模型的合著者

LinkedInXMeta AI (FAIR)

关键论文

Tim Brooks

前沿实验室

研究科学家,Meta Superintelligence Labs

博士 · 加州大学伯克利分校 — Alyosha Efros (BAIR)

联合创建了 OpenAI 的 Sora;发明了 InstructPix2Pix;现于 Meta 构建多模态/世界模型

共同领导了 OpenAI 的 Sora,现从事 Google DeepMind 的 Veo — 作为世界模拟器的大规模视频生成前沿。

LinkedInWebsiteX

关键论文

Andrew Dai

初创公司

联合创始人兼 CEO,Elorian

博士 · 爱丁堡大学

Elorian 联合创始人/CEO(视觉推理、世界模型);前 DeepMind Gemini 数据领域负责人

LinkedInXElorian

Trevor Darrell

学术界

教授 (EECS),加州大学伯克利分校

博士 · 麻省理工学院 — MIT,导师 Eric Grimson

加州大学伯克利分校 EECS 教授,BAIR 联合创始人/联合负责人;领先的计算机视觉与深度学习研究者。

WebsiteWikipediaX

关键论文

Agrim Gupta

前沿实验室

研究科学家,Meta

博士 · 斯坦福大学 — Fei-Fei Li

斯坦福博士,研究视频生成 (W.A.L.T) 和具身 AI;现于 Meta 研究世界/模拟模型

LinkedInWebsiteX

关键论文

Nicklas Hansen

学术界

博士候选人(最后一年),加州大学圣地亚哥分校

TD-MPC / TD-MPC2 可扩展世界模型的创建者,用于连续控制强化学习

TD-MPC2 和 Newt 的作者,可扩展的基于模型强化学习世界模型,适用于数百个任务的连续控制。

WebsiteX

关键论文

Aleksander Holynski

前沿实验室学术界

研究科学家,Google DeepMind · 助理教授,哥伦比亚大学

博士 · 华盛顿大学 — GRAIL / UW Graphics(导师:Steve Seitz、Brian Curless、Rick Szeliski)

Google DeepMind 研究科学家 & 哥伦比亚大学教授;生成式视频/3D 与世界模型研究。

网站X

Anthony Hu

创业公司

研究员,General Intuition

博士 · 剑桥大学 — 机器智能实验室(导师:Roberto Cipolla)

在 Wayve 领导了面向自动驾驶的 GAIA 生成式世界模型;现于 General Intuition 构建世界模型。

LinkedIn网站XGeneral Intuition

关键论文

Xun Huang

创业公司

创始人 & CEO,Morpheus

博士 · 康奈尔大学 — 导师为 Serge Belongie

创造了 AdaIN(现广泛用于扩散模型);Morpheus 创始人,专注实时交互式视频世界模型

网站XMorpheus

关键论文

Phillip Isola

学术界

麻省理工学院 EECS 副教授

博士 · 麻省理工学院 — Ted Adelson(脑与认知科学)

pix2pix 和 CycleGAN 的共同创造者;提出关于共享世界表征的柏拉图表征假说

网站X

关键论文

Justin Johnson

创业公司学术界

联合创始人,World Labs · 密歇根大学兼职助理教授

博士 · 斯坦福大学 — 斯坦福视觉实验室(导师:Fei-Fei Li)

World Labs 联合创始人;开创了实时神经风格迁移和视觉推理。

World Labs 联合创始人,3D 生成与视觉推理领域的领军人物;广泛使用的视觉与神经风格迁移方法的合著者。

LinkedIn网站XWorld Labs

Lukasz Kaiser

前沿实验室

技术团队成员(研究科学家),OpenAI

博士 · 亚琛工业大学 — 计算机科学的数学基础(导师:Erich Grädel)

《Attention Is All You Need》(Transformer)合著者;OpenAI o1 推理模型的研究负责人。

LinkedInX

Alex Kendall

创业公司

联合创始人 & CEO,Wayve

博士 · 剑桥大学 — 机器智能实验室,导师为 Roberto Cipolla

Wayve 联合创始人兼 CEO;自动驾驶端到端深度学习(“AV2.0”)的先驱。

Wayve 的 CEO,也是面向自动驾驶汽车的生成式驾驶世界模型 GAIA 的架构师。

LinkedIn网站XWayve

关键论文

Christoph Lassner

创业公司

联合创始人,World Labs

博士 · 图宾根大学 — 马克斯·普朗克智能系统研究所 / 伯恩斯坦计算神经科学中心,图宾根

World Labs 联合创始人;计算机视觉/图形学研究者,专注 3D/4D 重建与神经渲染(Pulsar)。

LinkedInWebsiteXWorld Labs

Yunzhu Li

学术界

哥伦比亚大学计算机科学助理教授

博士 · MIT — 导师为 Antonio Torralba 和 Russ Tedrake(MIT CSAIL)

面向机器人操作可变形物体与流体的结构化/基于粒子的学习型世界模型。

WebsiteX

关键论文

Hao Liu

前沿实验室

Google DeepMind 研究科学家

博士 · UC Berkeley — Pieter Abbeel

RingAttention 与 Large World Model(LWM)的创造者;百万级上下文多模态视频-语言世界模型

WebsiteX

关键论文

Ben Mildenhall

初创公司

World Labs 联合创始人

博士 · UC Berkeley — Berkeley 图形学/成像(导师:Ren Ng)

NeRF(神经辐射场)第一作者;World Labs 联合创始人。

神经辐射场(NeRF)的发明者,该技术开启了现代神经 3D 重建;World Labs 联合创始人。

LinkedInWebsiteXWorld Labs

Ishan Misra

前沿实验室

Meta Superintelligence Labs(TBD Labs)研究科学家、总监

博士 · 卡内基梅隆大学 — 机器人研究所(导师为 Martial Hebert / Abhinav Gupta)

自监督视觉研究者;I-JEPA、DINO 以及 Movie Gen / Emu Video 生成工作的合著者

WebsiteXMeta AI (FAIR)

关键论文

Jack Parker-Holder

前沿实验室学术界

Google DeepMind 开放式研究团队研究科学家 · 伦敦大学学院荣誉讲师

博士 · 牛津大学 — Stephen Roberts(机器学习研究组)

DeepMind Genie 世界模型(Genie 1/2/3)联合负责人,面向生成式交互环境

Google DeepMind 的 Genie 负责人,推动可生成可控环境的交互式基础世界模型。

WebsiteXGoogle DeepMind

Jurgis Pasukonis

初创公司

Project Prometheus 技术团队成员

博士 · 伦敦玛丽女王大学 — 理论物理(弦理论)博士;后自学强化学习

DreamerV3 世界模型强化学习智能体与 Memory Maze 长期记忆基准的合著者

LinkedInProject Prometheus on X

关键论文

Bill Peebles

前沿实验室

前Sora负责人(2026年4月离职),OpenAI

博士 · UC Berkeley — Alyosha Efros (BAIR)

发明了Diffusion Transformer (DiT);OpenAI Sora的共同创造者/负责人

Diffusion Transformer (DiT) 架构的共同创造者,该架构支撑了Sora及大多数现代视频生成模型;现就职于OpenAI。

LinkedInWebsiteX

Michael Rabbat

初创公司

世界模型副总裁,AMI Labs

博士 · University of Wisconsin-Madison — Robert Nowak(电气工程)

I-JEPA/V-JEPA自监督世界模型的共同创造者;现任LeCun的AMI Labs世界模型副总裁

LinkedInWebsiteXMeta AI (FAIR)

关键论文

Sergei Tulyakov

前沿实验室

研究总监,创意视觉,Snap Research

博士 · University of Trento

Snap研究总监;视频生成先驱(MoCoGAN、First Order Motion Model、Snap Video)

LinkedInWebsiteXSnap Inc.

关键论文

Cristóbal Valenzuela

初创公司

联合创始人兼CEO,Runway

Runway联合创始人兼CEO;生成式视频正迈向通用世界模型(GWM-1)

Runway的CEO,该公司发布用于视频的商业生成式世界模型(Gen系列、GWM-1),广泛应用于电影和媒体制作。

LinkedInWebsiteWikipediaXRunway

Pascal Vincent

前沿实验室学术界

研究科学家,Meta (FAIR) · 兼职教授(Mila创始成员),Universite de Montreal / Mila

博士 · Universite de Montreal — Yoshua Bengio (Mila)

去噪自编码器和去噪分数匹配的先驱;I-JEPA自监督模型的共同作者

WebsiteMeta AI (FAIR)

关键论文

Jiajun Wu

学术界

计算机科学助理教授(心理学系兼任),Stanford University

博士 · MIT — William T. Freeman和Joshua B. Tenenbaum

物理场景理解;物理引擎集成与神经符号视觉推理

在斯坦福领导基于物理和3D世界模型的研究,包括多尺度3D世界生成(WonderZoom)和直觉物理模型。

WebsiteX

关键论文

Zhou Xian

创业

Genesis AI 联合创始人兼 CEO

博士 · 卡内基梅隆大学 — 机器人研究所,导师 Katerina Fragkiadaki

Genesis AI 联合创始人兼 CEO;RoboGen 和面向机器人学的 Genesis 生成式物理引擎的创造者。

LinkedInWebsiteXGenesis AI

关键论文

Saining Xie

创业学术界

AMI Labs 联合创始人兼首席科学官 · 纽约大学计算机科学助理教授(休假中)

博士 · 加州大学圣地亚哥分校 — Zhuowen Tu

Diffusion Transformers(DiT)和 ConvNeXt 的共同创造者;AMI Labs(JEPA 世界模型)联合创始人兼首席科学官

V-JEPA 的共同创造者,生成式表征学习领域的领军人物;近期在流映射蒸馏和表征自编码器方面的工作刷新了图像生成 SOTA。

LinkedInWebsiteXAMI Labs (Advanced Machine Intelligence)AMI Labs (Advanced Machine Intelligence) on X

Sherry Yang

学术界前沿实验室

纽约大学 Courant 计算机科学助理教授 · Google DeepMind 资深研究科学家

博士 · 加州大学伯克利分校 — Pieter Abbeel

面向具身智能体的生成式世界模型 / 真实世界模拟器(UniSim)

将视频生成视为通用世界模型和模拟器的先驱;在 Google DeepMind 参与 Gemini Robotics 以及基于 Veo 的策略评估。

WebsiteX

新星新兴第一作者 · 8

Eloi Alonso

创业

General Intuition 联合创始人

博士 · 日内瓦大学 — François Fleuret 团队

主导 DIAMOND 和 IRIS 扩散/Transformer 世界模型;General Intuition 联合创始人

DIAMOND(NeurIPS 2024)第一作者,一种达到人类水平 Atari 游戏表现的扩散世界模型。

LinkedInWebsiteXGeneral Intuition

关键论文

Amir Bar

学术界前沿实验室

即将入职的伦敦帝国理工学院助理教授 · Meta FAIR 研究科学家

博士 · 特拉维夫大学 / 加州大学伯克利分校 — 导师为 Amir Globerson 和 Trevor Darrell

Navigation World Models(CVPR 2025 最佳论文荣誉提名);自监督视觉世界建模

Navigation World Models(CVPR 2025 荣誉提名)第一作者,一种用于视觉导航预测的十亿参数条件扩散 Transformer。

LinkedInWebsiteX

Boyuan Chen

学术界

杜克大学 Dickinson Family 助理教授

博士 · 哥伦比亚大学 — Hod Lipson 的 Creative Machines Lab

杜克大学 Dickinson 家族助理教授;主管通用机器人实验室;研究方向为自建模机器人与自动化科学发现

Diffusion Forcing(NeurIPS 2024)的第一作者,该训练范式统一了视频预测与世界模型;近期研究用于机器人控制的大型视频规划器。

网站X

代表性论文

Yilun Du

学术界前沿实验室

哈佛大学助理教授 · Google DeepMind 高级研究科学家

博士 · 麻省理工学院 — Leslie Kaelbling、Tomas Lozano-Perez 与 Joshua Tenenbaum(MIT EECS)

哈佛 SEAS 助理教授与 Kempner 研究员;研究组合式/基于能量的生成式世界模型

可组合扩散与基于能量的世界模型的先驱;常合作参与视频模型作为模拟器的机器人研究工作。

LinkedIn网站X

代表性论文

Stephen Spencer

前沿实验室

Google DeepMind 研究工程师

DeepMind 研究员;Genie 2 与 Genie 3 基础世界模型的技术负责人/贡献者

以 Genie 2(2024)闻名。Genie 交互式世界模型的技术负责人

网站

代表性论文

Tsun-Hsuan Wang

创业公司学术界

Genesis AI 联合创始人 · MIT CSAIL 博士生

博士 · 麻省理工学院 — Daniela Rus(MIT CSAIL 分布式机器人实验室)

MIT CSAIL 机器人专家;Genesis AI 通用机器人基础模型初创公司联合创始人

Genesis 物理引擎(面向具身 AI)的共同负责人,据报道比此前的模拟器快 10–80 倍。

LinkedIn网站XGenesis AI

代表性论文

Zangwei Zheng

创业公司

HPC-AI Tech 视频与推理负责人

Open-Sora 的创始人/负责人,首个开源类 Sora 视频生成模型

以 Open-Sora(2024)闻名。Open-Sora 开源视频生成框架的负责人

LinkedIn网站XHPC-AI Tech(Open-Sora)HPC-AI Tech(Open-Sora)的 X

代表性论文

Gaoyue Zhou

学术界

纽约大学博士生

DINO-WM 世界模型的第一作者,用于基于预训练视觉特征的零样本规划

以 Navigation World Models(CVPR 2025)闻名。与 Amir Bar 合著导航世界模型

LinkedInWebsiteX

关键论文

构建世界模型的公司

常见问题

谁是世界模型领域最具影响力的研究者?

Yann LeCun(AMI Labs / NYU)被广泛认为最具影响力,他定义了 JEPA 自监督范式,该范式是世界模型两大主流方法之一的基石。李飞飞(World Labs / 斯坦福)和 Danijar Hafner(基于模型的强化学习 Dreamer 系列模型的创造者)是另外两位最常被视为奠定该领域的人物。

什么是 AI 中的世界模型?

世界模型是一种 AI 系统,它学习环境的预测性内部模型,使智能体能够想象未来结果并进行规划,而不仅仅依赖在真实世界中的试错。例子包括 DeepMind 的 Dreamer、Meta 的 JEPA、OpenAI 的 Sora 以及 World Labs 的 Marble。

哪些公司在世界模型领域处于领先地位?

World Labs 在 3D 空间世界模型方面领先,Google DeepMind 在交互式模拟(Genie)和视频(Veo)方面领先,Meta AI 在 JEPA 架构方面领先,Physical Intelligence 将世界模型应用于机器人技术。

本指南是如何编制的?

本指南根据关联的公开来源,梳理了研究人员、其可归属的工作、子领域及相关公司。人物简介分为先驱、领军研究者和新星。技术内容为 2026 年 7 月 6 日的快照;X 个人资料和公开关注列表于 2026 年 10 月 8 日核查。未经核实的社交账号已省略。

更多值得关注

来源:Hacker News · changxu.dev