NVIDIA 扩展 Isaac 开放机器人平台,新增参考人形与 Isaac Lab 3.0
NVIDIA Advances Isaac Platform for General-Purpose Robotics With New Reference Humanoid, Frameworks, Simulation Pipelines and Data
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开放机器人开发平台,新增参考人形 Agile ONE SN、数据集与 Isaac OS 运行时,并更新机器人学习框架。
原文把参考人形、Isaac Lab 3.0 与开源工作流放在同一平台,读者可据此判断机器人从数据到部署的链路如何被整合。
新闻摘要:
- Agile Robots 发布 Agile ONE SN,这是一款基于 NVIDIA Isaac GR00T 和 NVIDIA Jetson Thor 构建的人形参考平台,并计划集成 NVIDIA Halos 安全栈,为开发者和研究人员提供用于前沿人形机器人开发与验证的完整平台。
- NVIDIA Isaac 平台新增 Isaac OS 运行时、用于机器人学习的 Isaac Lab 3.0,以及开源参考工作流;这些工作流在 NVIDIA DGX Station 上将 ChatGPT Astra 与 NVIDIA Isaac 和 Cosmos 相结合,以加速机器人数据生成、训练和评估。
- 欧洲机器人生态系统,包括 ABB Robotics、Flexion、Hexagon Robotics、Humanoid、KUKA、NEURA Robotics、Sereact 和 Universal Robots 等领军企业,正在基于 NVIDIA 的开放机器人平台构建,以推进自主机器人系统的发展。
GTC Berlin——NVIDIA 今日宣布大幅扩展 NVIDIA Isaac™ 开放机器人开发平台,新增参考人形机器人、数据集和运行时,并更新其机器人学习框架。
这些技术共同为开发者提供了一条从数据到部署的集成路径,从而更快地将通用机器人带入现实世界。
“通用机器人技术正以惊人的速度发展——机器人的 ChatGPT 时刻正快速临近,”NVIDIA 创始人兼首席执行官黄仁勋表示。“借助 NVIDIA Isaac 这一全栈开放机器人平台,我们正在为开发者提供模型、数据、仿真工具和计算系统,将物理 AI 带给全球最大的行业。”
Agile ONE SN——面向研究的前沿人形参考平台
Agile Robots 发布了 Agile ONE SN,这是一款全栈参考人形机器人,预配置 NVIDIA Isaac GR00T,并由 NVIDIA Jetson Thor™ 边缘 AI 平台提供动力。
机器人研究人员和开发者常常难以集成将机器人技能从开发推向物理世界所需的独立仿真、训练和部署工具。Agile ONE SN 将这些工具和工作流统一到一个平台上,将设置时间从数周缩短至数天。
Agile ONE SN 的特点:
- Agile ONE S 人形机器人本体,高 1.40 米(4.59 英尺),重 40 千克(88 磅),具有 31 个自由度,每臂有效载荷 3 千克。
- 双 WUJI Hand 2 五指手,每只手提供 20 个自由度、1kHz 力控制和触觉感知,用于灵巧操作
- NVIDIA Jetson Thor 板载计算,提供 2,070 FP4 万亿次浮点运算算力和 128GB 统一内存,用于板载推理和实时控制。
- 多模态感知,包括头部和腕部摄像头、激光雷达传感器和惯性测量单元,帮助机器人感知周围环境并与之交互。
- NVIDIA Isaac GR00T 平台,包括 GR00T 基础模型、从数据采集到部署的完整工作流,以及用于协调运动的全身体控制。
- 安全能力,计划将机器人本体安全协议与面向机器人的 NVIDIA Halos 全栈安全系统集成。
Agile Robots 创始人兼 CEO 陈兆芃表示:“人形机器人的突破在于规模化实用性:一台可自适应、能学习多种技能并在为人类建造的环境中工作的机器。今天,Agile Robots 推出了 Agile ONE SN,这是一款基于 NVIDIA Isaac GR00T 构建、由 Jetson Thor 驱动的全栈开放式参考人形机器人,为开发者提供了一个现成系统,用于创建、训练和验证让人形机器人投入工作所需的能力。”
Agile ONE SN 计划于 2027 年初上市,旨在推进前沿人形机器人的研发,并已引起斯坦福大学和苏黎世联邦理工学院等顶尖机构的兴趣。
全新 NVIDIA 技术加速机器人学习——从数据到部署
全新 NVIDIA 技术帮助开发者生成训练数据、扩展机器人学习、构建仿真环境并部署机器人应用,从而缩短解决方案交付时间。
- SimReady 中央库提供 2,000 多个可直接用于仿真的机器人和工厂资产,而 Human 1M 数据集则包含多样化的人类活动、同步三视角视频和 3D 手部追踪。两者均已在 Hugging Face 上提供,完整的 Human 1M 数据集可供 Cosmos Coalition 合作伙伴访问。
- NVIDIA Isaac Lab 3.0 现已正式发布,提供开源、面向智能体的学习框架,利用多 GPU 工作流以及包括 Newton 和 NVIDIA PhysX™ 在内的物理引擎,从桌面到数据中心训练和优化机器人策略。
- NVIDIA Isaac OS 是一个基于 NVIDIA Holoscan 构建的开源运行时框架,连接 AI、传感器、控制和机器人硬件,实现从仿真到实体机器人的确定性实时性能。
- NVIDIA 正在发布三个面向 NVIDIA DGX Station™ 的开源参考工作流,帮助开发者通过强化学习优化 GR00T 1.7 模型、在 NVIDIA Isaac Lab 中训练灵巧操作技能,并使用 ChatGPT Astra 对 NVIDIA Cosmos™ 世界模型进行后训练以生成合成数据。
- NVIDIA Halos 提供基于 NVIDIA IGX Thor™ 构建的全栈安全平台,帮助自动驾驶汽车和机器人从开发阶段迈向更安全的大规模实际部署。
Hugging Face 上的 SimReady 中央库包含来自 Comau、FANUC、ForgeCAD、Franka Robotics、LG Electronics、Palatial、Robotiq、Standard Bots、Universal Robots 和 Vertiv 的可直接用于仿真的资产。
NVIDIA 在 DGX Station 上运行的开源机器人学习参考工作流将获得来自 1X、Agile Robots、Humanoid、Maven Robotics、Mentee、MicroAGI、Rhoda、Sereact 和 Skild AI 的解决方案支持。
机器人合作伙伴正在将 NVIDIA Halos 集成到其安全架构中,包括 Agile Robots、Agility、Dexory、FORT Robotics 和 KION,用于仓库机器人安全。SICK 正在评估 Halos,以推进工业机器人的动态安全,帮助其应对固定区域之外不断变化的条件。
Advantech 与 NexCOBOT 正在开发基于 NVIDIA IGX 的工业计算平台,而 Reynolds & Moore、Accenture 和 TÜV SÜD 正在加速工业物理 AI 安全部署的认证流程。
欧洲机器人领导者基于 NVIDIA 开放技术构建
ABB Robotics 正在将 NVIDIA Omniverse™ 库与 RobotStudio HyperReality 集成,以便在广泛行业安装前对机器人系统进行仿真和虚拟调试。KUKA Group 正在其 Visual Components FactoryLens 中使用 Omniverse 库,为工厂仿真工作流添加实时渲染。Sereact 正在使用 Isaac GR00T 与 Cosmos Transfer 训练和后训练其用于货物搬运的 Cortex 平台,运行于 Universal Robots 工业机械臂上。
使用 Jetson Thor、Holoscan Sensor Bridge、Halos 和 NVIDIA Isaac OS,Humanoid 正在工业试点前开发和验证机器人行为,Hexagon Robotics 正在构建 AEON 感知能力,包括远程操作视频、定位、建图和物体姿态检测,而 Bear Robotics 正在加速 KR1 感知和模型执行,同时通过 Kino-2 对 Isaac GR00T 进行后训练,用于仓储、退货和工业工作流。
Toyota Material Handling Europe 和 SoftServe 使用 Omniverse 和 NVIDIA Isaac Sim™ 框架开发自主物料搬运解决方案,将部署时间缩短多达 50%。Idealworks 正在使用 NVIDIA 开放模型和 Jetson 为工厂中的自主移动机器人开发记忆能力。Analog Devices Inc. (ADI) 正在使用 NVIDIA Jetson AGX Orin™ 和 cuVSLAM 库构建自主移动机器人。
Hugging Face 和 Pollen Robotics 正在使用 NVIDIA Isaac Lab、Isaac Sim 和 Newton 构建 Microduck,这是一款小型开源机器人,旨在帮助开发者和学生训练、修改和分享新的物理行为。Franka Robotics 正在使用 NVIDIA NIM™ 微服务和 Isaac Sim 将自然语言请求转化为其 Franka FR3 Duo 机器人系统上的动作。Bellboy 正在使用 Jetson 和 GR00T 为其首个机器人队友 Billie 提供支持,该机器人基于 Bellboy 的物理 AI 基础设施构建,已在 Marriott、Hilton、IHG 和 OYO 运营的酒店部署。
Flexion 正在使用 Isaac Lab 和 Newton 扩展其 Reflect 的学习,Reflect 是其统一的机器人智能模型,结合推理和全身运动,用于跨机器人本体的复杂操作。Schaeffler 正在贡献其执行器技术,作为 Newton 的独家基础组件,帮助借助 NVIDIA Isaac Lab 和 Isaac Sim 加速人形机器人开发。
NEURA Robotics 正在使用 Isaac Sim 和 Isaac Lab 生成合成训练数据,并在仿真中为其多模态基础模型 Neuron AI 训练机器人技能。
观看 Huang 的 GTC Berlin 主题演讲并探索会议。
来源:NVIDIA Newsroom · nvidianews.nvidia.com