NVIDIA Omniverse 如何用前沿 AI 智能体把创意变成仿真应用

把仿真想法变成可运行的应用，意味着要整合各种资源、连接物理与渲染，并检查场景是否按预期运行。开发者正在将前沿 AI 模型与 NVIDIA Omniverse 库结合起来，以帮助完成这项工作——构建用于探索场景、调查故障和改进设计的应用。

开发者通过自然语言指令指挥 AI 智能体，审查结果并引导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真能力。

探索以下项目，了解 GPT-6 Astra 等前沿 AI 模型的实际应用，并请回访查看来自 NVIDIA 团队和整个生态开发者的新示例。

大规模压力测试仓库仿真

随着更多机械臂、传送带和箱子填满场景，仓库仿真需要保持平稳运行。

当它变慢时，开发者需要找出是什么拖了后腿。 NVIDIA 首席工程师 Bhavik Sanganee 使用 Astra 与 NVIDIA Omniverse 库构建了一个仓库仿真，增加其复杂度并调查性能下降问题。

当场景规模翻倍时，性能首次低于目标。同时运行物理计算、图像渲染和视频准备恢复了性能，并实现了进一步扩展。

在包含 80 条传送带、40 个机械臂和 800 个箱子的情况下，仿真在两分钟测试中于全高清分辨率下保持每秒 30 帧。机械臂完成了 640 次成功的箱子放置。

场景再次翻倍后性能下降。测试将性能下降追溯到物理和机器人控制流水线，为 Sanganee 指明了具体的改进方向。

开始使用 NVIDIA Omniverse 库进行构建。

测试柔性线缆布线的机器人控制

在电子装配中，机器人可能需要将柔性线缆绕过元件定位，然后将其插入端口。线缆在机器人移动时会弯曲，连接器必须精确对齐才能插入。

NVIDIA 机器人技术营销经理 Oyindamola Omotuyi 指导 Astra 使用 NVIDIA Isaac Lab、Newton 物理和 Omniverse 渲染构建了一个机器人仿真，由 Robotiq 夹爪处理线缆。

Astra 还开发了一个强化学习系统，将学习到的线缆布线动作与位置和方向反馈以及用于 USB-C 插入的纠正调整相结合。该仿真让 Omotuyi 能够在进行物理机器人实验之前测试线缆处理和连接器对齐。

控制器使用了仿真直接提供的信息。下一步包括测试摩擦夹持，以及使用物理机器人可从摄像头和传感器获取的信息。

在 NVIDIA Isaac Lab中开始机器人学习。

将机器人计算机辅助设计转化为 SimReady 资产

在测试机器人能否拿起并移动箱子之前，开发者需要一个仿真模型，其关节能正确运动，夹爪能抓住物体。计算机辅助设计（CAD）模型提供了机器人的外形，但仍需要物理属性才能执行任务。

开发者使用 ABB Robotics YuMi 机器人，借助 Astra 和 NVIDIA Omniverse 内容库，将 CAD 文件转换为 OpenUSD，将机器人的外观与参考图像匹配，并配置关节和碰撞几何体。他们在 NVIDIA Isaac Sim 中测试该资产之前，先对照 SimReady Foundation 要求进行了检查。

双臂和夹爪完成了四次方块抓取放置循环，使用了模拟的手指接触和摩擦。这些测试展示了在模拟条件下的行为——估算的物理属性并未针对真实机器人进行校准。

按照五步 SimReady 教程操作。

为仓库环境构建人形机器人模拟器

在第一人称和第三人称视角下，探索对人形机器人的游戏化、基于物理的控制。

在实现仓库任务自动化之前，开发者需要一个交互式仿真环境来探索任务行为并评估工作如何完成。NVIDIA 的 Omniverse 产品经理 Frank DeLise 使用 Astra 将一个 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视角的交互式模拟器。

DeLise 指导 Astra 连接 NVIDIA Omniverse 库，用于物理（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）。他还使用 Astra 和 SimReady（simready-foundation）在仿真中创建物理场景。随后 Astra 生成了动画和应用代码，将这些能力整合在一起。

了解如何使用前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。

连接自动驾驶测试工作流

更改场景、传感器或驾驶模型都会显著影响自动驾驶车辆仿真。NVIDIA 仿真技术团队经理 Doyub Kim 要求 Astra 构建 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。

Kim 指导 Astra 规划出工作流，然后分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和 Alpamayo 驾驶，并检查每个集成环节。由此产生的原型是一个测试平台，用于比较模型并追踪场景或传感器变化如何影响下游驾驶行为。另一个独立的 Cosmos3-Nano 实验在录制的仿真视频中改变天气和光照，使 Kim 能够比较驾驶模型在相同场景不同条件下的响应。

利用传感器差异创建并改进数字孪生

比较录制的与模拟的摄像头和激光雷达输出，可为开发者提供基于关键性能指标的反馈，用于改进场景。

为了测试机器人和自动驾驶汽车，开发者需要了解模拟传感器与真实传感器的接近程度。在 NVIDIA 负责 RTX 传感器验证的 Ashley Reid 指导 Astra 和 Claude Fable 5 智能体将 ovrtx 摄像头和原始 LiDAR 输出与录制数据进行比较。这些智能体从零开始创建了两个数字孪生，并改进了两个现有的数字孪生。

在大约三天的时间里，Reid 指导了一个迭代工作流，其中智能体测量差异、创建或修改 OpenUSD 场景并检查结果。更改解决了缺失对象、几何体和材质的问题，验收取决于摄像头和 LiDAR 指标。这为开发者提供了一种利用测量到的差异来指导场景创建和改进的方法。

首先使用 ovrtx 最小 Python 示例 渲染 OpenUSD 场景，然后定义传感器测量值以与录制数据进行比较。

机器人奥运会：用仿真测试机器人技能

教机器人新动作意味着要检查这些动作在物理约束下是否有效。负责 NVIDIA Omniverse 工程和产品的 Tae Kim 使用体育视频和自然语言指令指导 Astra 构建 Robo Olympics，这是一个实验性项目，用于测试模拟的 Unitree G1 人形机器人执行体育动作。

在 Kim 的指导下，Astra 构建了控制器并通过物理试验对其进行改进。Newton Physics Engine 模拟行为，开源 NVIDIA Warp 框架加速计算，ovrtx 渲染场景和虚拟摄像头图像。在一项实验中，机器人在 100 次仿真试验中有 64 次成功越过单个跨栏。这些试验为 Kim 提供了改进机器人时机和控制能力的反馈。

观看 Kim 探索使用 Astra 和 NVIDIA Omniverse 库构建仿真。

使用计算机辅助设计和仿真测试机器人拆解

在机器人能够拆解产品之前，开发者需要了解其工具是否能够触及并移除零件。NVIDIA 的 OpenUSD 高级产品经理 Jens Jebens 指导 Astra 在 PTC Onshape 中为汽车悬架建模，并在 NVIDIA Isaac Sim 中进行配置。

借助 Astra，Jebens 探索了由仿真提供信息的机器人计算机辅助设计和工具修改。该智能体测量了可用空间，并设计了一种扳手，使机器人能够用它触及悬架的螺栓。Jebens 报告称在仿真中成功移除了一个悬架组件。这将设计和工具决策与拆解结果联系起来，为机器人策略训练提供了一个起点。

探索 Onshape 导入器指南。

将国际空间站带入浏览器

将 3D 模型转化为应用需要连接资产、实时数据和界面。NVIDIA 工程总监 Nic Johns 提示 Astra 将 NASA 资产组装成一个带有遥测数据的 OpenUSD 国际空间站模型。Johns 用一条提示就构建了这个应用，随后又用一条后续提示将场景切换到地球的白天一侧，使地球可见。

该工作流使用 Blender 进行资产准备，并使用 Omniverse 库进行渲染（ovrtx）、场景运行时（ovstage）和流式传输（ovstream）。该应用将 3D 模型和运行数据带入浏览器，Johns 通过提示和修正来指导其开发。

试试 Omniverse 实时查看器技能。

将拍摄的房间转化为测试环境

数字重建的房间需要可编辑的对象和准确的物理行为，开发者才能测试交互。NVIDIA Isaac 工程应用团队的 Chirag Majithia 指导 Astra 将立体相机拍摄内容转化为可编辑的 OpenUSD 工作室。

该工作流结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建，并由用户审查来指导对象选择和放置。Astra 组装了生成的资产和 Blender 创作的资产，并使用 USD Content Agents 来配置对象在仿真中的移动和交互方式。Isaac Sim 测试指导了门和抽屉的碰撞与接触修订。该工作室将拍摄的几何体与交互测试连接起来，使间隙和对象行为更易于检查。

探索 USD Content Agents。

有仿真想法？探索 NVIDIA Omniverse 库，开始用 AI 智能体进行构建。