arXiv cs.AI· Jiawei Shen, Jie Feng, Junpeng Zhang, Guanbin Li, Wanyi Chen, Weisheng Dong, Guangming Shi·· 10 小时前AI 评分22
ReflectScene:MLLM 引导的闭环扩散生成 3D 室内场景
ReflectScene:MLLM-Guided Closed-Loop Diffusion for 3D Indoor Scene Generation
AI 导读
ReflectScene 提出一种 MLLM 引导的闭环扩散框架,用于文本条件 3D 室内场景生成。该框架通过分层先验场景理解对齐结构化布局与多视角视觉证据,并用 MLLM 引导的语义奖励评估蒸馏出轻量 Reward Predictor,再以决策条件轨迹一致扩散在去噪过程中修正目标物体布局。在 3D-FRONT 上实验显示功能一致性与语义对齐提升,同时保持有竞争力的生成质量与多样性。
正文 · AI 翻译
摘要:文本条件的三维室内场景生成需要满足几何、功能和语义约束的布局。然而,现有的扩散方法主要依赖静态文本条件,限制了其评估动态演化场景并将语义差异转化为可执行的对象级修正的能力。基于 MLLM 的事后细化提供了语义反馈,但仍与去噪过程解耦,可能破坏场景连贯性。我们提出 ReflectScene,一个由 MLLM 引导的闭环扩散框架。首先,我们引入分层先验锚定的场景理解,将结构化布局与多视角视觉证据对齐,通过冻结的多模态大语言模型(MLLM)解读对象特定上下文和场景全局语义。其次,我们提出 MLLM 引导的语义奖励评估,将 MLLM 对可能候选修正的诊断和评估蒸馏为轻量级奖励预测器,从而以更低的计算负担做出修正决策。最后,我们提出决策条件化的轨迹一致扩散,通过瞬态条件化和持久干净估计投影整合选定的修正,在去噪过程中修正生成场景中的对象布局,同时保持非目标布局不变。在 3D-FRONT 上的实验表明,功能一致性和语义对齐得到改善,同时保持了有竞争力的生成质量和多样性。
| 评论: | 10 页,3 幅图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.23845 [cs.CV] |
| (或 arXiv:2611.23845v2 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23845 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jiawei Shen [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 04:50:50 UTC(17,114 KB)
[v2]
2026 年 11 月 19 日星期四 05:59:35 UTC(17,114 KB)
来源:arXiv cs.AI · arxiv.org