开发者如何用前沿 AI 智能体与 NVIDIA Omniverse 将创意变为仿真应用

把仿真想法变成可用的应用，意味着要整合资源、连接物理与渲染，并检查场景是否按预期运行。开发者正在将前沿 AI 模型与 NVIDIA Omniverse 库结合起来，以帮助完成这项工作——构建用于探索场景、调查故障和改进设计的应用。

开发者通过自然语言指令指挥 AI 智能体，审查结果并引导修改。Omniverse 库提供 GPU 加速的物理、渲染和传感器仿真能力。

探索以下项目，看看 GPT-6 Astra 等前沿 AI 模型的实际应用，并随时回来查看来自 NVIDIA 团队和整个生态开发者的新示例。

为仓库环境构建人形机器人模拟器 🔗

在第一人称和第三人称视角下，体验基于物理的、游戏化的人形机器人控制。

在自动化仓库任务之前，开发者需要一个交互式仿真环境来探索任务行为并评估工作如何完成。NVIDIA 的 Omniverse 产品经理 Frank DeLise 使用 Astra 将一个 SimReady 仓库和人形机器人转变为具有第一人称和第三人称视角的交互式模拟器。

DeLise 指示 Astra 连接 NVIDIA Omniverse 库，用于物理（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）。他还将 Astra 与 SimReady（simready-foundation）结合使用，在仿真中创建物理场景。随后 Astra 生成了动画和应用代码，将这些能力整合在一起。

了解如何借助前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。

连接自动驾驶测试工作流 🔗

改变场景、传感器或驾驶模型都会显著影响自动驾驶车辆仿真。NVIDIA 仿真技术团队经理 Doyub Kim 要求 Astra 构建 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。

Kim 指示 Astra 规划出工作流，然后分阶段连接资产创建、交通、Omniverse RTX 传感器仿真和 Alpamayo 驾驶，并检查每个集成环节。最终的原型成为一个测试场，用于比较模型并追踪场景或传感器变化如何影响下游驾驶行为。另一个独立的 Cosmos3-Nano 实验在录制的仿真视频中改变天气和光照，使 Kim 能够比较驾驶模型在不同条件下对同一场景的响应。

利用传感器差异创建和改进数字孪生 🔗

比较录制的和仿真的摄像头与激光雷达输出，为开发者提供基于关键绩效指标的反馈，用于改进场景。

为了测试机器人和自动驾驶汽车，开发者需要了解模拟传感器与真实传感器的匹配程度。在 NVIDIA 负责 RTX 传感器验证的 Ashley Reid 指导 Astra 和 Claude Fable 5 智能体将 ovrtx 相机和原始 LiDAR 输出与录制数据进行比较。这些智能体从零开始创建了两个数字孪生，并改进了两个现有的数字孪生。

在大约三天的时间里，Reid 指导了一个迭代工作流，其中智能体测量差异、创建或修改 OpenUSD 场景并检查结果。更改解决了缺失的对象、几何体和材质问题，验收取决于相机和 LiDAR 指标。这为开发者提供了一种利用测量到的差异来指导场景创建和改进的方法。

首先使用 ovrtx 最小 Python 示例 渲染 OpenUSD 场景，然后定义传感器测量值以与录制数据进行比较。

机器人奥运会：用仿真测试机器人技能 🔗

教机器人新动作意味着要检查这些动作在物理约束下是否可行。负责 NVIDIA Omniverse 工程和产品的 Tae Kim 使用体育视频和自然语言指令指导 Astra 构建了 Robo Olympics，这是一个实验性项目，用于测试模拟的 Unitree G1 人形机器人执行体育动作。

在 Kim 的指导下，Astra 构建了控制器并通过物理试验对其进行改进。Newton Physics Engine 模拟行为，开源 NVIDIA Warp 框架加速计算，ovrtx 渲染场景和虚拟相机图像。在一项实验中，机器人在 100 次模拟试验中有 64 次成功越过单个跨栏。这些试验为 Kim 提供了改进机器人时机和控制方面的反馈。

观看 Kim 探索使用 Astra 和 NVIDIA Omniverse 库构建仿真。

用计算机辅助设计和仿真测试机器人拆解 🔗

在机器人能够拆解产品之前，开发者需要知道其工具是否能够触及并移除零件。NVIDIA 的 OpenUSD 高级产品经理 Jens Jebens 指导 Astra 在 PTC Onshape 中为汽车悬架建模，并在 NVIDIA Isaac Sim 中进行配置。

借助 Astra，Jebens 探索了 计算机辅助设计 以及由仿真提供信息的机器人工具修订。该智能体测量了可用空间，并设计了一种机器人可以用来触及悬架螺栓的扳手。Jebens 报告称在仿真中成功移除了一个悬架组件。这将设计和工具决策与拆解结果联系起来，为机器人策略训练提供了一个起点。

探索 Onshape 导入器指南。

将国际空间站带入浏览器 🔗

将 3D 模型转化为应用需要连接资产、实时数据和界面。NVIDIA 工程总监 Nic Johns 提示 Astra 将 NASA 资产组装成一个带有遥测数据的 OpenUSD 国际空间站模型。Johns 用一条提示就构建了这个应用，随后又用一条后续提示将场景切换到地球的白天一侧，使行星可见。

该工作流使用 Blender 进行资产准备，并使用 Omniverse 库 进行渲染（ovrtx）、场景运行时（ovstage）和流式传输（ovstream）。该应用将 3D 模型和运行数据带入浏览器，Johns 通过提示和修正来指导其开发。

试试 Omniverse 实时查看器技能。

将捕获的房间变成测试环境 🔗

数字重建的房间需要可编辑的对象和准确的物理行为，开发者才能测试交互。来自 NVIDIA Isaac 工程应用团队的 Chirag Majithia 指导 Astra 将立体相机捕获内容转化为可编辑的 OpenUSD 工作室。

该工作流结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建，并由用户审查来指导对象选择和放置。Astra 组装了生成的资产和 Blender 创作的资产，并使用 USD Content Agents 来配置对象在仿真中的移动和交互方式。Isaac Sim 测试指导了门和抽屉的碰撞与接触修订。该工作室将捕获的几何体与交互测试连接起来，使间隙和对象行为更易于检查。 

探索 USD Content Agents。

有仿真想法？探索 NVIDIA Omniverse 库，开始用 AI 智能体构建。