USDCraft：用 LLM 程序化生成可仿真的铰接式 3D 资产
USDCraft: Programmatic Modeling of Articulated 3D Assets for Simulation
USDCraft 提出一种程序化建模方法，无需输入网格，仅凭提示词或参考图即可让预训练 LLM 写出资产程序，编译成带关节的 USD 资产。生成结果自带碰撞几何、质量和关节限位，可直接在 Isaac Sim（PhysX）中运行；在真实到仿真到真实流程中，团队扫描三个真实物体重建后各采集 200 条演示训练 Diffusion Policy，真机部署无需真实数据。
演示
方法
生成
从文本或图像生成新的关节化资产
无需任何输入网格，USDCraft 即可根据提示词或参考图像编写资产程序。预训练 LLM 带来了对日常物体的广泛知识，因此新类别无需特定任务训练。下面的每个结果都是编译后的关节化 USD 资产——拖动以环绕观察；各部件在其关节限制内运动。
立式钢琴
图像 → 资产
USDCraft正在加载 3D
后院游乐设施
图像 → 资产
USDCraft正在加载 3D
手动轮椅
文本 → 资产
提示词
创建一个完整、功能可用、可直接用于模拟器的手动轮椅，包含两个可旋转的驱动轮、可转向的前脚轮、可折叠脚踏板、推圈、刹车、座椅、靠背和扶手。
USDCraft正在加载 3D
快递柜组
文本 + 图像 → 资产
提示词
创建一个完整、功能可用、可直接用于模拟器的快递柜组，包含八个尺寸各异、独立铰链的门，把手或电子锁，自助终端屏幕，稳定的外壳，以及清晰的取件通道。
USDCraft正在加载 3D
可展开卫星天线
文本 → 资产
提示词
创建一个完整、功能关节化、可直接用于模拟器的可展开卫星高增益天线组件，包含航天器安装基座、双轴方位-俯仰万向节、分为刚性中心碟面和两个可折叠侧瓣的抛物面反射器、锁定铰链壳体、中心馈源喇叭、支撑杆、线缆布线支架、硬限位和发射约束锁扣。天线必须能够折叠成紧凑的收拢构型，并展开成连贯的碟形，同时展开后的反射器能够通过两个万向节轴进行指向，而不会与基座碰撞。
USDCraft正在加载 3D
手动托盘搬运车
文本 → 资产
提示词
创建一个完整、功能可用、可直接用于模拟器的手动托盘搬运车，包含可枢转的转向手柄、可旋转的转向轮和承载轮、提升货叉机构、控制杆，以及清晰的托盘进入通道。
USDCraft正在加载 3D
探索生成的资产
16 个类别 · 选择一个资产，拖动其关节，下载 USDZ
拖动以环绕观察 · 滚动以缩放
输入图像来源
- 家用缝纫机 — eggrole，CC BY 2.0
- 玻璃泡茶壶 — USDCraft 评估集
- 微波炉 — USDCraft 评估集
- 反光交通锥 — Pryskyřník，公有领域
- 立式钢琴 — pianomap，CC BY 2.0
- 后院游乐设施 — USDCraft 评估集
- 相机三脚架 — David Adam Kess，CC BY-SA 4.0
- 带抽屉的格子书架 — USDCraft 评估集
- 紧急出口标志 — frozenchipmunk，CC BY 2.0
- 实验室离心机 — Ivangiesen，CC0 1.0
- 快递柜组 — PinTweaks，CC0 1.0
- 盆栽室内植物 — Thomas Tolkien，CC BY 2.0
- 摆满商品的超市货架 — USDCraft 评估集
.jpg){kind=link}
重建
为模拟重建真实物体
对于 real-to-sim，USDCraft 将每个源网格重建为一个程序，分离融合的部件并补全缺失的部件。输入可以是静态资产、原始手机扫描，或单张图像提升为网格。
源网格正在加载 3D
USDCraft–Astra正在加载 3D
视图已联动 — 旋转任意一侧即可将源资产与重建后的关节化资产进行对比。
与先前方法的对比
所有方法使用相同的 Hunyuan3D 2.1 输入 · 论文结果（USDCraft 和 Mini Workflow：第 1 轮）
正在加载 3D
输入 · 图像 + Hunyuan3D 2.1 网格
无完整关节化输出部件几何缺失
ArtLLM
正在加载 3D
SIMART3 个部件 · 2 个关节
正在加载 3D
Particulate9 个部件 · 8 个关节
正在加载 3D
Mini Workflow–Astra12 个部件 · 11 个关节
正在加载 3D
USDCraft–Astra15 个部件 · 14 个关节
全部六个视图共用一个相机 — 部件颜色显示每种方法如何将物体拆分为刚性部件；关节在其极限范围内扫动。
仿真
加载到 Isaac Sim 中，即可运行
每个编译后的资产都带有碰撞几何体、质量和关节限制，因此无需手动修复即可在 Isaac Sim（PhysX）中运行。每个片段展示静态资产、其动态关节运动及其碰撞几何体。
Real2Sim2Real
仅在仿真中训练的策略，部署到真实物体上
我们扫描三个真实物体，用 USDCraft 重建它们，在仿真中为每个任务收集 200 条演示，并训练一个 Diffusion Policy，在没有任何真实世界数据的情况下部署到物理机器人上。
打开抽屉
按下烤面包机压杆
打开烤面包机
各资产方法的成功率
论文表格 · 每种设置 20 次试验 · ↓ sim-to-real 下降 · I/M：图像/网格输入
| 资产方法 | 输入 | 打开抽屉 | 按下烤面包机压杆 | 打开烤面包机 | |||
|---|---|---|---|---|---|---|---|
| 仿真 | 真实 | 仿真 | 真实 | 仿真 | 真实 | ||
| Articraft–Sol | I | 90% | 20%↓70 | 90% | 10%↓80 | 80% | 20%↓60 |
| Particulate | M | 0% | 0% | 50% | 10%↓40 | 0% | 0% |
| Mini Workflow–Astra | I+M | 100% | 0%↓100 | 90% | 60%↓30 | 85% | 70%↓15 |
| USDCraft–Astra | I+M | 100% | 90%↓10 | 90% | 85%↓5 | 85% | 85%↓0 |
BibTeX
@article{zhang2026usdcraft,
title={USDCraft: Geometrically Grounded Programmatic Modeling of Articulated 3D Assets for Simulation},
author={Zhang, Chuanrui and Yang, Zaijia and Wang, Duomin and Shi, Lu and Zhou, Daquan and Zhang, Ruihua and Wang, Ziwei},
journal={arXiv preprint arXiv:2610.11322},
year={2026}
}来源：Hacker News · xingyoujun.github.io