600次实验后，我对JEPA世界模型LeWM的发现

世界模型 · JEPA · 规划

作者：Haddy Alchaer · 2026年11月

目前 AI 领域正围绕世界模型应该是什么展开一场大辩论。大部分注意力都集中在生成式世界模型上，这类模型通过生成未来（通常以像素形式）来预测未来。包括 Yann LeCun 在内的许多科学家认为这是白费力气。大多数像素对于决定该做什么并不重要，而且其中许多像素根本无法预测。[1]

提出的替代方案是 JEPA，即联合嵌入预测架构。它包含三个部分：编码器、预测器和规划器。编码器将每一帧观测转换为学习到的嵌入，即一个描述场景的紧凑向量。预测器接收该嵌入加上一个动作，并预测下一帧的嵌入。随后，规划器在预测器内部尝试数百个动作序列，并挑选其预测的最终状态最接近目标嵌入的那个。整个循环在嵌入空间中运行，因此模型只需学习场景中对于决定动作重要的部分。

今年，包括 LeCun 在内的一个团队发布了 LeWM [2]，这是一个 JEPA 世界模型，其主要基准是 Push-T [3]，这是一个仿真环境，机器人推动一个灰色 T 形块在桌面上移动，直到 T 形块位于目标图像中显示的绿色目标位置。过去几个月里，我在它上面进行了 600 次实验。

我首先想知道的是 LeWM 在多大程度上受限于其预测能力，因此我首先将预测器替换为模拟器的完美物理，同时保持其他一切不变。然后，我给两个版本都设置了长时程任务，目标距离 75 步，并给出相同的子目标：来自专家演示的帧，每 25 步一帧。原版 LeWM 的成功率为 78%。使用真实物理的版本成功率为 77%。在它所训练的那类路径上，LeWM 的预测对于规划来说已经和完美物理一样好。

这意味着 JEPA 世界模型的下一个提升来自如何使用训练好的架构，而这正是我 600 次实验的大部分所在。

在没有对模型进行一次重新训练的情况下，我发现了四种新的规划方法。前两种方法合在一起，将 LeWM 在长时程任务上的成功率从 22% 提升到 85%，大约相当于一个被直接给予专家演示中理想子目标的规划器。另外两种方法将 LeWM 扩展到更难的目标，其中一种——仅对目标评分方式做了一处改动——将成功率提高了 60 个百分点，是换用完美物理所带来提升的三倍。

1. 通过相距 25 步的子目标进行规划

完全按原样使用，LeWM 在目标相距 75 步的长时程任务上成功率为 22%。[2] 当目标相距 25 步时，它达到目标的概率为 89.7%，与精确物理版本的 90.5% 相差不到一个百分点。

因此，该模型在 25 步范围内是准确的，但在 75 步范围内则表现吃力。通常的解释是，小的预测误差会在长规划中累积，这就需要更好的模型。我在同样的 250 个长时程任务上，将这一解释与另一种解释进行了对比测试。

精确物理增加了 20 个百分点。将任务拆分为 25 步的片段，每个片段都是 LeWM 已经几乎完美处理的长度，增加了近 60 个百分点。LeWM 的有效规划视野约为 25 步，因此很明显，进一步的方法是串联这种长度的片段。

这就是分层规划：高层选择子目标，低层实现它们。这被广泛认为是世界模型的主要开放问题之一，而在 Push-T 上，它的价值是换成完美物理的三倍。

额外的搜索不能替代它。将规划器运行四次并保留成本最低的计划，计算量增加了四倍，但提升不到一个百分点，因为四次运行几乎总是一起成功或一起失败。

本实验中的子目标来自专家演示，而部署的机器人不会有这种演示。第二种方法消除了这种依赖。

2. 带有每次跳跃成本的潜在记忆图

LeWM 是在该任务的专家演示上训练的，其编码器可以嵌入这些演示的每一帧，得到约 460,000 个嵌入状态，我将它们连接成一个图。每个状态链接到其自身演示中紧随其后的状态，以及嵌入空间中接近的其他演示中的状态。为了解决长时程任务，规划器在此图中搜索从当前状态到目标的路径，并使用该路径上的状态作为子目标。

这只有在嵌入空间中的距离具有物理意义时才有效，而事实确实如此。取一个机器人能在 25 步内到达的子目标和一个它无法到达的子目标，LeWM 的嵌入距离在 87% 的情况下将可到达的那个排得更近。因此，嵌入空间同时充当了机器人可到达范围的地图。

第一个版本有一个缺陷。在两个不同演示中邻近状态之间的跳跃与真实步骤成本相同，因此搜索将跳跃串联成方块永远无法跟随的路径（1,015 个计划中有 318 个尝试使用六次或更多跳跃）。修复方法是在图中每次演示之间的跳跃上增加成本。仅使用 LeWM 自身对过去演示的嵌入，在同样的 250 个长时程任务（目标相距 75 步）上的成功率从 62% 提升到 85%，这与使用专家子目标的规划器获得的分数相同。这已经好得不能再好了，对吧？

标准的 Push-T 测试比看起来要容易

需要注意的是，标准测试会取一次演示，让机器人从该演示的中途开始，并将目标设定为沿同一演示向前固定步数处。这是一个合理的设计，但在 Push-T 中，每次演示结束时方块都停在同一个位置。因此，每个测试目标都位于演示已经走过的路径上，朝向它们共同结束的位置。对于标准测试中 84% 的目标，记忆图已经保存了来自另一次演示的几乎相同的状态。

通常的样本量也很小。在官方的 50 个回合中，LeWM 在目标距离 50 步时成功率为 68%。在按同样方式抽取的 250 个新回合中，成功率仅为 44%。仅改变规划器的随机种子，就使 250 个回合中的 38 个在成功与失败之间翻转。

这就是我决定构建一个更难的测试的地方：每个任务从一次演示中取起点，从另一次演示中取目标，因此机器人必须在没有单次演示连接的状态之间移动。只有当方块在最后 10 步保持在目标上时，才算成功。在这些规则下，记忆图规划器在标准任务上成功率为 75%，在新任务上为 45%。我发现的第三和第四种方法正是针对这一差距。

3. 用变换后的记忆填补记忆中的空缺

记忆图的好坏取决于其覆盖范围。当我删除目标附近所有存储的状态时，成功率从 93% 下降到 32%。

Push-T 在这里有一个有用的对称性。推动方块的物理规律不会因为平移、旋转或镜像整个桌面而改变。因此，当图中没有目标附近的状态时，它可以从其他地方取演示片段，变换它们以填补空缺，并通过这些片段进行规划。使用这些变换后的片段，成功率回升到 85%。它们还能让小的记忆发挥很大作用（由 1% 的演示加上变换副本构建的图，表现与由 10% 的演示构建的图大致相当）。

在更难的测试中，变换后的片段将成功率从 45% 提高到 56%，并且在演示最稀疏的地方帮助最大。当目标位于演示流动的方向上时，记忆图规划器已经能成功 69%。当目标位于相反方向时，普通记忆的成功率为 27%，变换后的记忆为 46%。

4. 代价是“错误的”

我还构建了一个交互式演示，可以任意放置方块并选择任意目标。目标必须是一张图像，而场景图像必须在某处显示推动器，所以我把推动器放在目标的正后方。在一次运行中，机器人将方块推到距离目标 14 像素以内，足够接近，可以算作已解决。然后它把方块推离目标，并不断将推动器移向目标图像中推动器所在的位置。

更难测试中的目标是专家演示的帧，因此每一帧也显示了专家当时推动器所在的位置。将预测与整个目标图像进行比较的规划器也会试图把推动器放到那里。

为了衡量这有多重要，我把模型排除在外。我在更难测试的同样 50 个任务上运行了两次精确物理规划器，唯一的区别是代价中是否同时包含推动器的位置和方块的位置。

当排除推动器时，三十个任务从失败变为成功，而没有任务朝相反方向变化。这样的分布偶然发生的概率约为十亿分之二。这里的物理来自实际模拟器，而非预测，因此 4 倍的提升来自目标是如何创建的。

对推动器进行评分的规划器完全按照要求执行。在发生翻转的 30 个任务中，它把推动器带到距离目标图像所放置位置半个像素以内，却在此过程中丢失了方块。将方块和推动器两者都放在精确的目标位置是一个更难解决的问题。

但 LeWM 不能简单地被告知忽略推动器。它通过两个嵌入之间的距离来给计划评分，而它对目标图像的嵌入将方块和推动器放在一起，没有任何部分被标记为“推动器”。因此，作为测试，我测量了规划器改为在推动器上搜索能达到多远。它将每个预测与目标图像的 16 个版本进行比较，所有版本中方块位置相同，推动器移动到从存储演示中取得的位置，并保留最接近的匹配。这在没有重新训练的情况下，将 LeWM 在更难测试上的成功率翻倍，从 11% 提高到 23%。

这适用于任何机器人，因为目标应该只是一组最终状态，而不是图像的副本。“把杯子放在架子上”在机器人手臂最终到达的任何位置都算解决，但目标图像选择了一个手臂位置并让规划器去匹配它。一个好的目标接受所有能解决任务的最终状态，并且仍然包含任务对机器人的要求，比如在结束时静止下来。

好消息是，大量演示数据中已经包含了许多同一物体在同一位置的真实帧，每一帧中机器人的位置各不相同。将规划方案与这些目标中最接近的一个进行评分，可以为规划提供更大的有效终止状态集合。

接下来是什么

这四项发现都不会改变模型的权重。它们适用于已发表的 LeWM，并且应当能以零额外训练成本迁移到以相同方式规划的更大 JEPA 世界模型上。

目前最大的未解问题是如何泛化到没有完美演示的任务上。在更难的 Push-T 测试中，最佳规划器有 56% 的时间将方块保持在目标位置，而剩余失败大多是与数据方向相悖的目标。弥合这一差距需要一个更高层级，能够提出超出演示范围的自身子目标，并且要比当今的学习型层级结构（如 H-JEPA [4]）做得更好——后者目前在 Push-T 上与扁平 LeWM 持平或略胜一筹。

起初，我以为 LeWM 的预测会是瓶颈，但一个小到几小时就能训练完的 JEPA 已经能预测得和模拟器本身差不多好，而且仅通过改变其规划方式就能获得若干收益。它目前还做不到的是在没有演示覆盖的地方自行选择子目标。这正是我当前的工作方向，如果你想了解更多，我会先在 X, @haddyalchaer 上发布。

参考文献

1. [1] Y. LeCun, A Path Towards Autonomous Machine Intelligence. OpenReview, 2022.
2. [2] L. Maes, Q. Le Lidec, D. Scieur, Y. LeCun, and R. Balestriero, LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels. arXiv:2603.19312, 2026.
3. [3] C. Chi et al., Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS, 2023.
4. [4] W. Zhang, B. Terver, M. Rabbat, Y. LeCun, and R. Balestriero, H-JEPA: End-to-End Learning of Hierarchical World Models for Visual Planning. arXiv:2610.06805, 2026.