NVIDIA 在 CoRL 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0

仿真长期以来一直是机器人学习行走、滚动和跳跃的试验场，如今它正帮助研究人员教机器人完成需要更精细触觉的任务：对齐齿轮、连接线缆和组装小型部件。

从运动到操作的转变成为本周在德克萨斯州奥斯汀举行的机器人学习会议（CoRL）的焦点，与此同时，智能体机器人技术正在兴起——这是一种新范式，它集成前沿智能体，为物理机器人系统生成可解释的代码。

在CoRL上，NVIDIA将推出新的开放机器人技术，包括世界动作模型、仿真工具、基准测试和智能体工作流。

在CoRL最佳论文奖的数千份投稿中，NVIDIA的两篇论文跻身六篇入围论文之列：

GRAIL（Generating Humanoid Loco-Manipulation from World Models，从世界模型生成人形移动操作），它提出了一种用于机器人学习的3D资产和仿真器就绪场景的数字生成流水线。
RoboTTT: Context Scaling for Robot Policies，它引入了一种机器人模型和训练方法，将视觉运动上下文扩展到超越最先进策略三个数量级，而不会增加推理延迟。

这些进展帮助研究人员在复杂任务上训练机器人，评估其在不同条件下的性能，并利用失败来指导进一步学习——从而构建从实验室演示迈向工业部署所需的精度、适应性和自主性。

NVIDIA正与Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics和华盛顿大学等合作伙伴携手，将这些进展带给更广泛的机器人社区。

世界动作模型实现下一级机器人自主性

下一级机器人自主性要求机器人感知周围环境、预判其行动将如何改变环境，并以高精度执行复杂的多步骤任务。世界动作模型正是为此而生。

在CoRL上，NVIDIA将推出GR00T 2，这是一个基于NVIDIA Cosmos构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据上训练，包括100,000小时的NVIDIA开源人类自我中心数据，使机器人能够学习灵巧操作技能。主要特性包括：

开箱即用性能：在没有任务特定演示的情况下，至少完成一次50项评估任务中的40项。
技能迁移：从人类演示中学习，并在不同机器人本体之间迁移技能，无需机器人演示
少数据泛化： 每个任务仅需一次演示，即可在 50 个任务上实现 71% 的平均成功率，五次演示后提升至 95%。
智能体控制： AI 智能体可使用 GR00T 2 的应用程序编程接口及配套工具，按顺序执行技能并从错误中恢复。

在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试中，GR00T 2 目前在视觉语言动作模型和世界动作模型的所有类别中均位列前三，并多次登顶排行榜。

Nexuni 正在测试其用于机器人洗衣处理，Foxconn 正将 GR00T 2 应用于服务器制造的工厂自动化，Siemens 正在评估其在各类工业用例中的应用。

MicroAGI 正在使用通过强化学习后训练的 GR00T 2，配合 YAM 机械臂执行以太网线缆更换。其智能体机器人方法利用 Isaac Lab 3.0 和 Newton 自动创建和校准仿真环境，并在其中训练策略。该智能体机器人工作流将在 CoRL 上演示。

训练能力出众的机器人需要多样化的数据。开放的 NVIDIA 工作流和模型为研究人员提供了更好的数据采集与标注工具：

对于构建机器人训练数据集的研究人员，NVIDIA 全新的开放 Video to Data 工作流可将人类视频转化为仿真机器人演示，并设有挑战赛邀请研究人员推动其发展。
NVIDIA EgoHand 开放模型 —— 正在 CoRL 上演示，发布两周内在 Hugging Face 上的下载量已超过 40,000 次 —— 可重建 3D 手部运动，其训练数据来自 Noitom Robotics。

训练与扩展发生的地方——在仿真中

预训练模型为机器人提供核心技能集。仿真让研究人员能够在部署到物理机器人之前，大规模地训练、优化和评估技能。

NVIDIA Isaac Lab 是一个开源机器人学习框架，为这项工作提供了基础。其最新版本 Isaac Lab 3.0 允许研究人员使用智能体，借助仿真就绪资产快速搭建训练环境，在 NVIDIA PhysX 和 Newton 物理求解器之间切换，为基于感知的训练选择渲染器，并将新的强化学习后训练库应用于 GR00T 等基础模型。

精确的物理模拟对于将学到的技能从仿真迁移到真实机器人至关重要。与开源物理引擎 Newton 的更紧密集成，使 Isaac Lab 现在能够对线缆和布料等可变形物体，以及具有许多交互关节的机械手等复杂关节系统进行建模。

与 Newton 的集成可模拟草莓在机器人抓握下的变形。

Isaac Lab 与 Newton 相结合，将精确的物理模拟与规模扩展能力融为一体，使研究人员能够并行训练数千个模拟机器人。在基于视觉的灵巧操作基准测试中，搭载 Newton 的 Isaac Lab 3.0 训练吞吐量最高达到搭载 PhysX 的 Isaac Lab 2.3 的 2.5 倍。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人仿真。

开发者正在扩展 Newton 的能力。在 CoRL 上，Skild AI 发布了 Scalable Throughput-optimized Engine for Embodied Learning（简称 STEEL），这是一种基于 Newton 构建的新型刚体物理求解器，用于借助 Isaac Lab 加速机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何帮助训练 Reflect——其融合推理与全身操作的机器人智能模型。

Flexion 使用 Newton 配合 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略，以便部署到非结构化的真实环境中。Dyna Robotics 将演示 Isaac Lab 中的并行仿真如何帮助训练其半人形 Taku 机器人的全身控制器，用于仓库、酒店和餐饮服务工作。

Walden Robotics 正在利用 Isaac Sim 的照片级真实感渲染，在虚拟环境中训练和评估其面向制造与物流的通用机器人；而 Dexmate 正在探索编码智能体如何在 Isaac Sim 中演练并优化操作策略，然后再在其 Vega 机器人上执行。

AlphaNIST 在 Isaac Lab 中构建，展示了高效练习如何转化为精准操作。单一策略即可学会 NIST 装配任务板上的全部 20 项任务，仅凭是或否的成功信号来操作毫米级零件。其训练成功率达到 98% 以上，而按任务分别训练的策略为 81%，且所用 GPU 时间约减少 39 倍。

AlphaNIST 使用 Isaac Lab 在 NIST 装配任务板的 20 项精密任务上训练单一机器人策略。

这些成果的背后是来自华盛顿大学和 NVIDIA 的 Success-Guided Sampling（简称 SGS）。该方法将练习集中在策略成功率约为一半的任务上，把训练导向它仍在学习的技能。借助 SGS，机器人训练可以扩展到超过一百万个并行环境。

德克萨斯大学奥斯汀分校计算学院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在仿真中训练机器人技能，让学生能够在物理硬件到位之前就开始开发。

面向机器人评估的新工业基准

学会一项技能是一回事，在多变条件下可靠地执行则是另一回事。

NVIDIA Isaac Lab-Arena 是一个用于规模化策略评估的开源框架，使开发者能够组合多样且可重复的评估，然后并行地在数千种变体上运行策略。分析结果能揭示哪些条件导致失败，从而让研究人员知道在下一次训练中需要修正什么。其最新版本 0.4 的开发者预览版将在 CoRL 上发布。

DexBench 和 VABAR 是两个新的开放基准，它们是最早一批旨在使用 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中的灵巧性和适应性的基准。

DexBench 由 RLWRLD 与 NVIDIA 合作开发，将灵巧性评估从桌面转移到真实工作流程中。它基于 NVIDIA Isaac Lab-Arena 构建，包含横跨零售、物流、制造和酒店服务四个场景的 15 项任务，测试在物体、空间和物理变化下的泛化能力。

Genesis AI、mimic robotics 及其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Manifold 上运行 DexBench，这是 Bifrost 的用于扩展机器人仿真的评估平台，无需设置，内置故障分析，并为初始评估提供免费额度。

VABAR——面向智能体机器人的变分自动化基准（Variational Automation Benchmark for Agentic Robotics）——由 UC Berkeley 和 NVIDIA 推出，评估机器人在六项工业任务中的表现。每项任务都带有标准化变体、难度等级和成功指标。

一个模拟的工具分拣任务展示了 VABAR 如何评估机器人在工业工作流程中的操作技能。

智能体将技能转化为机器人程序

成功完成任务需要机器人协调多种技能，并在出现问题时做出调整。为这些多步骤任务构建可靠程序仍然是一项挑战。

智能体机器人技术有助于解决这一挑战。

UC Berkeley 的新 Graph-as-Policy（GaP）框架使用智能体将单个技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序，并根据失败情况进行改进。这有助于研究人员以更少的数据扩展开发，同时保持程序对工程师的可解释性，以便在部署前进行审查和验证。

GaP 使用智能体和仿真将单个机器人技能转化为协调动作，例如擦拭吧台。

“对我来说，智能体机器人技术是自 1995 年互联网以来最令人兴奋的技术发展，”UC Berkeley 机器人学教授、VABAR 和 GaP 项目负责人 Ken Goldberg 说。

Ambi Robotics、Bosch Research 和 Siemens 都在探索将 GaP 用于其跨多种工业场景的智能体机器人工作流程。

加入 NVIDIA at CoRL 了解更多。