arXiv cs.AI· Zhenggang Tang, Yuehao Wang, Yuchen Fan, Jun-Kun Chen, Yu-Ying Yeh, Kihyuk Sohn, Zhangyang Wang, Qixing Huang, Alexander Schwing, Rakesh Ranjan, Dilin Wang, Zhicheng Yan·· 10 小时前AI 评分34
3D-ARD+：用自回归扩散模型实现组合式文本到3D场景生成
Autoregressive Diffusion for Compositional Text-to-Scene Generation
AI 导读
研究者提出 3D Autoregressive Diffusion 模型 3D-ARD+，将多模态 token 序列上的自回归生成与下一物体 3D latent 的扩散生成统一起来，实现按文本指令逐步生成并摆放物体。
正文 · AI 翻译
作者：Zhenggang Tang、Yuehao Wang、Yuchen Fan、Jun-Kun Chen、Yu-Ying Yeh、Kihyuk Sohn、Zhangyang Wang、Qixing Huang、Alexander Schwing、Rakesh Ranjan、Dilin Wang、Zhicheng Yan
摘要：近期的文本到场景生成方法在很大程度上减少了创建 3D 场景所需的人工投入。然而，这些方法要么侧重于生成场景布局，要么侧重于生成物体，很少有方法能同时生成两者。即使借助 LLM 的帮助，生成的场景布局也往往较为简单。此外，生成的场景常常与文本输入不一致，而文本输入中包含对物体形状、外观和空间布局的复杂描述。我们提出了一种顺序式文本到场景生成的新范式，并针对交互式场景创建提出了一种新颖的生成模型。其核心是 3D 自回归扩散模型 3D-ARD+，它将基于多模态 token 序列的自回归生成与下一物体 3D 潜变量的扩散生成统一起来。为生成下一个物体，该模型先通过一个自回归步骤，在场景空间中生成粗粒度的 3D 潜变量，其条件为当前可见的文本指令和已合成的 3D 场景。随后，它通过第二个步骤在较小的物体空间中生成 3D 潜变量，这些潜变量可被解码为细粒度的物体几何与外观。我们构建了一个包含 230K 个室内场景并配有文本指令的大型数据集用于训练。我们在具有挑战性的场景上评估了 7B 3D-ARD+，并展示了该模型能够按照文本指令所规定的复杂空间布局和语义生成并放置物体。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.16552 [cs.CV] |
| （或 arXiv:2604.16552v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16552 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhenggang Tang [查看邮箱]
[v1]
2026年4月17日星期五 07:28:04 UTC（29,874 KB）
[v2]
2026年4月29日星期三 14:25:32 UTC（29,874 KB）
[v3]
2026年10月30日星期五 05:35:04 UTC（29,874 KB）
来源：arXiv cs.AI · arxiv.org