arXiv cs.AI· Yuwei Sun, Yuxuan Yao, Hui Li, Weihao Yuan, Siyu Zhu·· 10 小时前AI 评分29
ReMoA：多模态扩散模型中的递归模块化自适应与稀疏潜在精炼
ReMoA: Recursive Modular Adaptation via Sparse Latent Refinement in Multimodal Diffusion Models
AI 导读
ReMoA 框架被提出并集成到扩散模型的联合注意力层中，通过多步递归迭代精炼视觉 token，并借助稀疏模块选择高效共享参数。在 ImageNet 上，DiT-XL 的 recall 从 0.57 提升至 0.62；SD3-medium 的 GenEval 总分从 68.33% 提升至 71.18%，且递归过程未引入额外参数。
正文 · AI 翻译
摘要：扩散模型在高保真数据合成方面已取得成功，但其在更复杂、结构化推理（如文本遵循）方面的能力仍然受限。尽管语言模型的进展已利用潜在推理和递归等策略来增强文本理解能力，但将这些策略扩展到多模态文本到图像生成任务仍具挑战性，因为视觉 token 具有连续且非离散的性质。为解决这一问题，我们受模块化人类认知的启发，提出了一种递归模块化适配（ReMoA）框架，将其集成到传统扩散模型的联合注意力层中，在多个递归步骤中迭代细化视觉 token，同时通过稀疏选择神经模块来高效共享参数。在类别条件 ImageNet 生成以及使用 GenEval 和 DPG 基准的文本到图像生成上进行的全面评估表明，递归视觉潜在细化有助于获得更丰富的对象细节和更好对齐的输出。此外，视觉潜在轨迹和路由分析揭示，神经模块学会在扩散时间步上专门化，每个模块的轨迹在后期低噪声步骤中发生分化，以支持上下文自适应细化。ReMoA 将 DiT-XL 在 ImageNet 上的召回率从 0.57 提升至 0.62，并将 SD3-medium 的 GenEval 总体得分从 68.33% 提升至 71.18%，且通过递归未引入额外参数。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.25299 [cs.CV] |
| （或此版本的 arXiv:2604.25299v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2604.25299 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuwei Sun [查看电子邮件]
[v1]
2026年4月28日星期二 07:09:18 UTC（5,791 KB）
[v2]
2026年11月4日星期三 04:13:44 UTC（7,737 KB）
来源：arXiv cs.AI · arxiv.org