研究团队推出 ToyBlocks 受控仿真框架，用于机器人学习与评测

Hugging Face 社区博客·2026-11-06 22:00· 34 分钟前AI 评分47

ToyBlocks：用于机器人学习与评估的受控世界

AI 导读

研究团队推出 FoundationWorlds 框架，首个实例 ToyBlocks 是基于机械臂与桌面方块的开放仿真环境，可自动生成任务与演示数据，单块 GPU 并行执行数百个规划，最高达 24 倍实时速度。该环境支持域随机化与强化学习、运动规划生成技能，并用于训练 Molmo 2 高层推理模型与 ManiFlow 低层动作模型。

正文 · 原文

💻 代码 | 📊 数据 | 🤖 模型 | 📖 文档

机器人正在学习叠衣服、分拣零件和处理陌生物体。但这些演示往往相当狭窄，无法说明机器人学到了什么，也无法解释它为何失败。

为了研究复杂系统，科学家通常从一个小型受控环境入手，例如培养皿或生态缸，在其中改变条件并观察效果。机器人学也需要能支持这类研究的环境——研究者应当能够更改训练数据或模型设计、重复测试，并追溯失败的原因。

今天我们推出一个用于创建这类环境的框架，我们称之为 FoundationWorlds。每个环境都将一个针对特定场景研究机器人学的受控仿真世界，与自动生成任务和训练演示的工具，以及衡量机器人随时间变化的指标相结合。它们共同提供了一个研究平台，可用于探讨诸如模型如何随着训练数据增多而改进，以及如何最好地将高层推理与精确的物理控制相结合等问题。

我们的首个基础世界是 ToyBlocks：一个围绕机械臂和桌面方块构建的开放仿真框架。场景刻意保持简单，但机器人仍需推理方块之间如何相互作用，以及如何在推、翻、堆叠的同时安排它们。

ToyBlocks 可自动生成演示，即机器人在仿真中完成任务的记录，无需耗时的遥操作（由人远程控制机器人）。研究者可以轻松改变这些训练经验。例如，团队可以生成更多推或翻的演示，然后在未纳入训练的任务上评估性能。

以 ToyBlocks 作为我们的首个 FoundationWorld，我们计划将这一方法扩展到日益复杂的环境中。

ToyBlocks 的工作原理

基于我们此前在开放机器人学习方面的工作，包括 MolmoAct 2、MolmoBot 和 MolmoSpaces，ToyBlocks 为研究者提供了一种在刻意受限的领域中研究机器人学问题的方法。

作为一个 FoundationWorld，ToyBlocks 围绕四项要求设计：（1）逼真的物理与外观，（2）大规模自动生成任务与演示，（3）将推理与灵巧性相结合的挑战，以及（4）广泛覆盖该领域内可能出现的任务。

开放式领域需要对大量物体和交互进行建模，因此无法同时满足上述所有要求。而 ToyBlocks 的狭窄范围则使其能够全部满足。

在 ToyBlocks 较小的场景中，研究者可以着手研究机器人如何学会执行任何合理的任务，同时确信仿真机械臂和方块的行为与真实对应物非常相似。

ToyBlocks 装置中，一个实体机器人夹爪位于木块上方。

ToyBlocks 不仅仅是关于拾取和堆叠积木：积木表面上的图片和字母使得搜索、分类和排列任务成为可能。机器人可能需要转动积木才能看到隐藏的一面，然后才能决定它应该放在哪里。域随机化——在不同场景中改变积木尺寸、桌子高度和其他物理属性——测试模型在几何形状变化时的泛化能力。

ToyBlocks 自动生成技能（短任务的简短行为）和任务演示，可用于训练模型或通过额外训练（微调）来调整先前训练过的模型。高层推理模型决定做什么；低层动作模型控制机器人的运动。该框架还可用于轻松设计实验和验证假设。

ToyBlocks 使用强化学习（RL）和运动规划（计算机器人应如何移动）来为短时程任务（涉及简短的动作序列）生成技能。技能训练在 Isaac Lab 中进行，这是 Nvidia 用于仿真中机器人学习的开源框架。通过试错，这些策略——选择机器人动作的模型——学习非抓取技能，例如将积木推过桌子或将其翻转到另一面而不将其拾起。技能生成可以利用特权信息——模拟器可以直接提供但真实机器人无法提供的值，例如积木的精确位置和方向——而不是从相机图像中估计。这使得能够自动生成在现实世界中需要遥操作的技能。

为了生成演示数据，任务与运动规划器（TAMP）自动选择并排序解决任务所需的技能，并规划它们之间的机器人运动。在仿真中运行每个计划会生成一个记录演示的数据集，以及描述机器人执行哪个任务或技能的标签。ToyBlocks 通过在单个图形处理单元（GPU）上并行生成和执行数百个此类计划来扩展数据生成，达到高达 24 倍的实时性能。

从传感器观察中行动增加了一个感知问题：模型必须估计积木的位姿——其位置和方向——而模拟器可以直接提供这些信息。为了反映现实世界条件，ToyBlocks 训练将原始传感器观察映射到动作的模型。

在 ToyBlocks 中训练的 Molmo 2（高层模型）和 ManiFlow（低层模型）的执行。Molmo 2 选择旋转和翻转等技能，通过指向界面指示相关积木，而 ManiFlow 控制模拟手臂执行所命令的技能。

ToyBlocks 的可控数据生成器允许用户创建训练混合，以强调特定技能或填补现有数据集中的空白。研究人员可以研究模型需要多少数据以及哪些经验有助于其泛化到未见过的任务。例如，他们可以测试添加旋转和拾放演示是否能改善翻转，或者改变定义工作空间区域内外的示例平衡——在未用于训练的任务上评估他们的选择。重要的是，对训练模型的评估产生的指标不仅仅是成功率；它提供诸如执行速度、施加在物体上的力以及通过规划模块使用的相同规范测量的任务进度等信息。

网页界面让用户可以连接 Claude——或其他前沿模型——并用自然语言指示机器人或尝试任务，提供了一种无需机器人专业知识即可探索模型如何规划和行动的方式。

基于 ToyBlocks 的研究构建

以下评估使用 ToyBlocks 来研究训练数据和方法如何影响性能、空间推理、对新字母和方块外观的泛化、多步规划、向物理机器人的迁移，以及通过工具行动的前沿模型。用户可以轻松设计自己的任务和度量来研究其他问题——例如，模型在通过指向选择物体还是通过发出诸如“拿起黄色方块”的文本命令时表现是否更好。

低级动作模型：VLA 空间泛化

低级动作模型，例如视觉-语言-动作模型（VLA），将语言指令和视觉观察映射到机器人动作。

VLA 的前提是，通过在大规模数据集上预训练，它们可以快速泛化到不同场景或特定工作空间。然而，关于这些动作模型泛化能力的证据仍然相互矛盾。一些研究报告称，这些动作模型对输入变化（例如不同的物体布局和光照）很脆弱，而另一些研究则表明 VLA 泛化良好。我们认为，这些研究往往依赖于空间变化灵活性有限的真实世界数据集。ToyBlocks 使我们能够在简单、易于复现且具有有意义的任务空间多样性的设置中测试动作模型的泛化能力。

我们设计了泛化测试，改变完成指令所需的技能序列、方块上的字母或颜色，以及场景中方块的数量。一项堆叠研究可以在训练中排除四块堆叠，然后测试模型能否组合熟悉的动作来搭建它们。工作空间研究区分模型在训练区域内新位置上的表现与在其边界之外（模型必须外推）的表现。我们在下面展示了研究设置和发现。

我们考虑四项任务：堆叠、拆叠、翻转和旋转。对于这些任务，我们研究插值（训练范围内的新配置）和外推（超出该范围的配置）。例如，我们通过在物体仅生成在左侧区域（绿色）的场景中训练并在右侧区域（橙色）测试来评估泛化，或者通过在 2 块和 5 块堆叠高度上训练并在高度 3 和 4 上测试来评估泛化。

VLA 模型的空间泛化研究（结果基于 ManiFlow、π0.5 和 MolmoAct 2）。尽管进行了大规模预训练，这些流行的动作模型在初始结果中泛化表现不佳。我们改进了泛化并分析了每种技术的贡献。图表中的 LoRA 标签代表低秩适应，一种用少量可训练权重更新微调模型的方法。我们认为动作模型的泛化仍远未解决；ToyBlocks 为系统探索泛化技术提供了有价值的测试平台。

高级推理：视觉-语言模型

长时程任务需要多步操作，使我们能够衡量模型规划一系列动作以解决这些任务的能力。我们的框架使我们能够创建此类长时程任务，并在高层和低层创建预言机——提供正确计划或动作的参考组件。这使我们能够在模型任务失败时，区分是高层规划还是低层执行出了问题。一个长时程任务的例子可能是用积木堆叠拼出“Ai2”；由于字母可能并非立即可见，智能体必须首先选择能够揭示信息的动作，然后规划并执行一系列动作来搭建积木堆。

我们评估了具有显式高层规划和低层执行模型的层次化模型。在本例中，我们选择 Molmo 2（一个视觉语言模型，VLM）作为高层规划器，ManiFlow 作为低层策略。Molmo 2 选择要执行的技能以及要在哪块积木上执行，而低层模型执行指令。我们训练 ManiFlow 等低层模型在完成执行后暂停，并向高层模型查询下一条指令。我们在三个难度递增的场景中评估模型的规划能力。最简单的场景初始化时每个字符都直立并面向相机。中等场景中字符可能不直立，而最难的场景中字符在回合开始时不可见。

使用 Molmo 2 作为高层推理模型、ManiFlow 或运动规划器作为低层操作时，三字母积木拼写任务的成功率。一个示例任务是“Stack Ai2”。Molmo 2 和 ManiFlow 在 ToyBlocks 上训练，并在三种难度设置和两种泛化条件下进行评估。

高层推理：智能体系统

我们的智能体系统实验测试前沿模型如何通过工具调用进行规划和行动。我们使用 Claude Opus 5.5 研究了三种设置。在搜索与拼写设置中，我们通过 Model Context Protocol (MCP) 暴露 ToyBlocks 技能，MCP 是连接 AI 应用与工具的标准。智能体通过相机图像观察场景，通过指向像素来调用 pick、flip 或 rotate 等技能，并决定何时搜索、搭建或宣布任务完成或不可能。相同的 MCP 工具既可以执行生成 ToyBlocks 演示的脚本化技能（运动规划的抓取和放置，以及基于 RL 的旋转和翻转），也可以执行学习到的 ManiFlow 技能。ToyBlocks 包含这些实验背后的框架，该框架也为前面描述的自然语言 Web 界面提供支持。

一个前沿模型（Claude Fable 5.1）在 ToyBlocks 世界中控制机器人，搜索积木并将其堆叠成拼出“Ai2”的塔。在回合中，智能体思考：“我需要弄清楚抓取和放置是自然校正方向，还是我需要手动纠正……我还剩 63 次调用，足够运行一次受控测试”（0:06）。智能体后来假设：“……也许夹爪的偏航角是径向的——从机器人底座指向积木”（0:15），并最终在构建三块积木塔之前确认了这一假设（0:26），但‘A’是侧着的（1:11）。令人惊讶的是，当前沿模型尽管具有令人印象深刻的规划、空间推理和搜索能力，却经常犯类似的感知错误（见下一张图）。

在经典规划任务中，智能体（我们的系统使用 Claude Opus 5.5 来规划和选择动作）仅凭文本描述就解决了全部 30 个积木堆叠任务，这类任务与前沿模型在几年前难以应对的任务相似。它还在反复观察相机图像并在闭环中选择下一步动作的情况下，完成了 30 个任务中的 30 个。

在“搜索与拼写”设置中，智能体必须生成堆叠，拼出三个字母的单词。它必须在场景中最多八个积木里找到带有相应字母的积木。重要的是，50% 的场景没有包含全部所需字母的积木，导致任务不可行。在这种情况下，我们要求智能体说明任务不可行。我们发现，在这个实验中，智能体能够成功解决或正确声明不可行的任务占 63%。错误主要是由智能体将字母与相似字母混淆（13%）或为堆叠中的字母选择了错误方向（15%）造成的。

我们的结果还表明，当积木具有语义规律或模式时，智能体能够更高效地解决任务，利用这些模式来推理被遮挡的面。例如，在大多数不可行场景中，当积木没有模式时，智能体在声明不可行之前会正确地查看所有积木的面，而当积木具有语义模式时，它能够显著更快地声明不可行。

我们的第三个实验设置询问智能体能否像科学家一样通过实验来学习其技能的表现方式。当某项技能表现异常时，智能体会形成假设、设计一个小测试，并根据结果修正其理解。我们扩展了这一想法，让智能体运行自己的实验，并根据其发现编写自己的技能描述。这些学习到的描述将成功率从默认描述的 24% 提高到 63%，超过了人类专家撰写的描述所达到的 36%。

在每个“搜索与拼写”回合结束时，智能体已暴露的字母积木面的比例（柱状图为 20 个回合的平均值；每个回合一个标记，按结果样式区分）。在可行任务中，三字母目标词的每个字母都存在；在不可行任务中，缺少一个字母，智能体应说明这一点。每个带图案的积木都带有某个字母的大写和小写实例，以及以该字母开头的图像（例如，A 积木：apple、ant、A、1、airplane、a）；无图案积木的六个面是随机且互不相关的。正确：塔拼出了单词，或者对于不可行任务，智能体正确声明任务不可能。字母旋转或相似字母：智能体搭建了塔，但某个字母被转动或替换成了相似字母，包括五个不可行任务被声明为已解决，但在缺失字母的位置使用了相似字母。积木掉出可及范围；已报告：所需积木被推出机械臂可及范围，因此智能体报告其任务已变得不可能。未报告：智能体用尽了其运动技能预算并停止，未声明任一结果。使用带图案的积木时，智能体结束时看到的面更少，因为它可以推断隐藏面必定描绘什么，而不是逐一检查。

以动作为条件的世界模型作为模拟器

动作条件世界模型经过训练，用于预测场景如何随机器人的动作而变化。将它们作为基于模型的模拟器的替代方案，用于训练和评估机器人策略，是一个活跃的研究领域。它们能否很好地服务于这一目的，取决于它们预测物理交互的准确程度，而在不知道场景真实状态的情况下，这很难衡量。ToyBlocks 提供了这一真实基准——即实际模拟的场景状态——从而能够对近期开发的世界模型在低级物体操作中的表现进行高度受控的测试。在这里，机械臂的末端执行器是它的夹爪。

具体而言，我们测试了动作条件世界模型在基于示例执行进行训练后，是否能够预测方块的运动或技能执行的结果。为此，我们选择了四种不同的技能（拾取放置、翻转、旋转以及一个混合任务），并为每种技能生成了 900 条轨迹——即随时间变化的机器人状态和动作序列。这些轨迹中 50% 是该技能的成功演示，50% 因空间配置的微小变化而失败。在成功与失败执行数量相等的情况下，一个总是预测成功的模型只有一半的时间是正确的。模型在这些演示上进行了微调，然后测试其预测相同技能动作序列结果的能力。

我们发现 Wan 2.2 最准确地预测方块运动和任务结果。Astra 能很好地跟踪夹爪，但在模拟接触方面存在困难。LeWM 速度快，在短交互片段上更准确，但在完整轨迹上会出现漂移。在额外实验中，我们还表明，在姿态和成功预测上得分更高的模型也能产生更好的训练数据：从最佳视频生成模型添加 100 条模型生成的轨迹（rollouts），可将策略在未见区域的成功率从 19% 提升至 78%。

我们测试了三种类型的模型：一个拥有 50 亿参数的视频预测模型（Wan 2.2）、一个创建了自己的物理模拟器并调整以匹配演示数据的智能体模型（Astra），以及一个潜在世界模型（LeWM）。在测试期间，每个训练好的模型必须分别基于初始图像和动作序列来预测未来图像、模拟器状态或潜在状态（学习到的内部表示）。对于完整轨迹，模型仅使用初始图像作为唯一观察到的图像，以及动作序列。对于短交互片段——单次拾取、放置、翻转或旋转——模型从该交互之前的真实图像开始。完整轨迹展示了误差如何在长时程上累积，而交互片段则隔离出单次交互，例如夹爪与方块接触，并展示模型对其预测得有多好。为了公平比较模型，我们探查每个模型的预测，读取它在轨迹不同点预期方块和夹爪所在的位置，以及它是否预期任务在结束时成功。

使用高级和低级模型进行的真实世界实验

仿真到真实评估测试在仿真中训练的策略在物理机器人上执行积木操作任务的表现。通过比较仿真与真实世界的执行情况，我们评估在仿真中观察到的行为和失败模式是否能对真实世界性能提供有意义的指示。例如，研究人员可以评估单个技能及其在更长时程任务中的组合，以识别失败出现的位置，以及这些模式是否会延续到物理部署中。

我们测试完全在 ToyBlocks 仿真数据集上训练的模型能否在真实世界中零样本部署，而无需在真实世界示例上进行训练。我们单独评估 ManiFlow 和每个低层技能（抓取、放置、翻转和旋转）。我们测试分层系统（Molmo 2 + ManiFlow）能否完成需要这些动作序列的长时程三积木拼写任务。真实世界实验使用 Franka FR3 机械臂和 Robotiq 夹爪，覆盖三十种场景配置。每个场景包含训练期间见过的 4–10 个积木。只有当相关积木被移动到目标位姿且未发生碰撞时，该回合才算成功。如果操作员在回合中因不安全运动而介入停止机器人，则该回合被标记为失败。

ManiFlow 的原子技能成功率在仿真和真实世界中相近（80.0% 和 81.1%）。分层 Molmo 2 + ManiFlow 系统在 55.5% 的仿真回合（111/200）和 50.0% 的真实世界回合（15/30）中成功；还需要进一步试验以在各任务上建立统计置信度。

ManiFlow 低层模型和分层 Molmo 2–ManiFlow 系统在仿真和真实世界中的成功率。对于 ManiFlow，总数代表单个技能执行次数（抓取、放置、翻转和旋转），而对于 Molmo 2–ManiFlow，则代表积木拼写任务回合数。Molmo 2–ManiFlow 评估使用仿真评估中定义的最简单场景配置，积木字符可见且直立。

使用相同高层规划器的真实世界与仿真积木堆叠执行并排对比。粉色圆环标记规划器为每个技能设定的目标点。场景使用不同的积木标签，仿真回放经过重新计时，以将抓取和释放与真实机器人对齐。

为了将 Molmo 2 和 ManiFlow——两者均完全在 ToyBlocks 数据上训练——迁移到物理机器人，我们分三个阶段处理仿真与现实之间的差异。

在数据生成之前，我们通过调整仿真机器人参数（包括关节摩擦和电枢，即反映在关节处的电机和齿轮箱惯性）进行系统辨识，以匹配真实机器人轨迹。在数据生成期间，我们对物理属性（物体尺寸、摩擦和桌面高度）和视觉属性（光照、背景、材质和相机参数）进行随机化。在推理时，使用前置 ZED 相机和腕部安装的 ZED Mini 捕获观测。对于使用深度图像的策略，我们使用 FastFoundationStereo 从成对的红绿蓝（RGB）相机图像生成干净的深度图（估计每个像素的距离），而不是依赖有噪声的深度传感器测量。

物理 ToyBlocks 设置：机械臂、木块和相机。

开放工具以促进进一步研究

ToyBlocks 将数据生成、训练和评估整合在一个受控环境中，使研究人员能够研究机器人如何随时间学习，并测试模型或其训练数据的变化如何影响机器人行为。我们正在发布仿真资产、程序化任务与演示生成器、自动生成的演示、两个展示该框架能力的已训练模型（一个基于 Molmo 2，一个基于 ManiFlow）、训练代码，以及评估代码和验证集。这使其他团队能够构建自己的训练混合数据，并研究我们初步实验未覆盖的失败模式。

我们的初始数据发布是一个概念验证，包含 85,336 个长时程演示，每个演示根据数据集不同，包含约 6–12 个技能演示。初始数据集覆盖近 1,600 小时的机器人执行数据和 1.44 亿帧。几周后，我们计划进行第二次发布，包含更大规模的数据集、更多技能和更全面的基准测试。我们还将加入当前版本中尚未包含的完全集成的强化学习训练能力。

ToyBlocks 的其他方向包括双臂（两条手臂）操作和灵巧机械手，配备力和触觉传感器，用于研究涉及频繁物理接触的运动和任务。我们还在探索对非结构化积木堆的玩耍，以此作为收集数据并研究新行为和任务如何通过交互涌现的方式。

未来方向：基于强化学习的积木堆操作。

未来方向：双臂积木操作。

借助 ToyBlocks，我们希望推动机器人学习科学向前发展，迈向一个机器人能够可靠地将其所学应用于陌生任务和环境的未来。我们鼓励研究社区探索 ToyBlocks 用于自己的研究，甚至将其作为构建自己的 FoundationWorlds 的基础。

来源：Hugging Face 社区博客 · huggingface.co