跳到正文
arXiv cs.AI· Randall Balestriero, Yann LeCun, Kerda Varaku·· 10 小时前AI 评分47

反事实世界模型:能推理“如果……会怎样”的 JEPA

Counterfactual World Models: JEPAs That Reason About "What If"

AI 导读

研究证明,仅用事实性转移数据训练的世界模型无法自行回答反事实问题,但利用“自然不跳跃”性质可推导出反事实结果,无需反事实数据、额外参数或重训练。基于冻结 DINOv2 与 MAE 编码器的 JEPA 世界模型在四个渲染模拟器上将反事实 R² 从 38%–46% 提升至 86%–96%,第五个水下航行器场景达 90%–94%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:世界模型运行在一个它们无法完全观测的世界中。当隐藏的扰动(例如推动船只的水流)改变某个动作的结果时,随之而来的是一个反事实问题:在相同扰动下,如果采取不同的动作,结果会怎样?这个问题的答案将糟糕的决策与坏运气区分开来。我们证明,基于事实性状态转移训练的世界模型无法自行回答该问题,无论其数据或容量如何。对于许多物理系统,观测到的结果加上动力学的一个简单性质就足够了:natura non facit saltus,即自然界不跳跃。当动作和扰动作为独立的力起作用时,它们的相互作用在时间上是二阶的,因此反事实结果在一阶近似下等于观测结果加上世界模型在替代动作与事实动作下预测值之差。由此得到一种反事实世界模型,无需反事实数据、额外参数或重新训练。对于时长为 $h$ 的状态转移,我们证明了反事实误差相对于扰动方差的 $O(h^2)$ 界,从非配对事实数据建立了匹配的极小极大下界,并刻画了在不连续点、坐标折叠以及会缩放指令的扰动处的失效情形。我们使用基于冻结 DINOv2 和掩码自编码器(MAE)编码器的 JEPA 世界模型,从像素验证了这些预测。在四个渲染模拟器上,我们的方法在相同世界模型下将反事实 $R^2$ 从 $38$--$46\%$ 提升到 $86$--$96\%$;在第五个模拟器(水下航行器)上,在事实数据多十六倍的情况下达到 $90$--$94\%$。另外四个冻结编码器 DINOv3、SigLIP~2、CLIP 和 EVA-02 在相同模拟器上给出 $81$--$95\%$。在后见规划中,它在 $35$--$69\%$ 的事件中找到了本可达成目标的动作,而知道模拟器但不知道结果的预言机规划器仅为 $14$--$23\%$。
学科: 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器人学(cs.RO);机器学习(stat.ML)
引用为: arXiv:2611.24778 [cs.LG]
  (或 arXiv:2611.24778v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24778

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Randall Balestriero [查看邮箱]
[v1] 2026年11月18日星期三 17:24:00 UTC(1,374 KB)

来源:arXiv cs.AI · arxiv.org