Nvidia 发布 GR00T 2 世界动作模型，可从人类视频学习机器人任务

The Decoder：AI 新闻· Maximilian Schreiner·2026-11-11 02:41· 1 小时前AI 评分66

Nvidia 的模型 GR00T 2 观看人类视频，然后把自己想象成机器人

AI 导读

Nvidia 发布基础模型 GR00T 2，采用世界动作模型（WAM）架构，同时预测下一步动作和未来短片段视频，用超过一千块 GB300 芯片和约 40 万小时头戴相机人类动作视频训练，可将人类动作迁移到机械臂。

正文 · 原文

2026 年 11 月 10 日

Image description

Nvidia

为了让机器人学会新任务，人类通常必须在训练期间费力地对其进行远程操作。Nvidia 的新 AI 模型 GR00T 2 旨在通过将视频中的人类动作迁移到机械臂来减少这种工作量。

为了训练机器人完成新任务，工程师通常要花数小时远程操控机器。这种所谓的远程操作成本高、速度慢，而且每个机器人模型都需要自己的数据。在一份关于 GR00T 2 的新研究报告中，Nvidia 推出了一款旨在缩短这一过程的新 AI 基础模型。

与以往的方法（包括其前代 GR00T 1）不同，GR00T 2 不会将摄像头图像和语言指令直接转化为电机动作。Nvidia 表示，该软件以公司所称的世界动作模型方式工作。它同时计算下一个动作和一段关于近期未来的短视频。例如，系统会预测当机械臂拿起物体时摄像头图像应如何变化。

这种视频预测应能让模型在不同机器人形态之间迁移动作序列。Nvidia 在一个拥有超过一千块 GB300 芯片的集群上训练该系统，其中包括约 40 万小时的视频素材，展示人们佩戴头戴式摄像头执行各种任务。

研究人员表示，要教会机器人一项新任务，一个人用数据手套、专用手部夹爪或手指外骨骼演示步骤应该就足够了。当这些记录在训练期间与目标机器人的通用运动数据结合时，AI 会在其视频预测中生成机械臂而非人类手臂，并由此推导出匹配的控制指令。

在实验室测试中，一只拥有五指手的机器人能够以这种方式点燃火柴、切香蕉或将包裹抛到传送带上，而无需针对这些特定任务进行远程操作。

成功率因任务而异，在 10% 到 80% 之间。仅凭一段人类手部动作视频，系统还通过计算机模拟学会了钉钉子。对于 50 个选定任务，模型在仅几个示例后就已经表现良好，不到三分钟的常规训练就足以将成功率从 40% 提高到 95%。

更高层的语言模型有助于处理错误，但会拖慢机器人速度

对于较长的装配工作，Nvidia 将该系统与更高层的 AI 语言模型（如 OpenAI 的 GPT-6 Astra）配对使用。GR00T 2 负责抓取动作，语言模型则将任务分解为各个步骤，在摄像头图像中对抓取点进行颜色编码，并在零件掉落时启动辅助程序。

当研究人员将玩具模型的松散零件无序地放在桌上时，组合系统在至少97%的试验中完成了组装。如果没有纠正性语言模型和额外的微调，玩具车组装在100次尝试中仅成功了23次。团队还通过在真实设备上反复试错，训练了插入网线或充电器等精密任务。

对于双足机器人，Nvidia开发了精简版GR00T 2 Turbo，它处理的图像细节更少。它直接在人形机器人的Jetson Thor板载计算机上运行。在测试中，该机器能够舀爆米花、清理桌子，并用脚下的毛巾擦拭液体。不过，最后一项任务的成功率略低于一半。

研究团队指出，在系统准备好可靠地用于现实世界之前，仍存在重大障碍。该模型尚未处理用于触觉的直接传感器数据，有时会漏掉诸如螺丝只转了一半之类的细微错误。更高层的语言模型也显著拖慢了速度。在垃圾分类过程中，机器人约有三分之一的总时间处于空闲状态，因为它平均需要等待超过七秒才能获得规划模型的下一次计算。

其他实验室也在寻找用更少遥操作来教机器人新任务的方法。我们在关于Neolabs的AI Radar #5中介绍了其中一些。

订阅THE DECODER，享受无广告阅读、每周AI新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

来源：The Decoder：AI News · the-decoder.com