arXiv cs.AI· Xiaoyu Wu, Yifei Wang, Weihang Guo, Chen Wei, Lydia E Kavraki, Niloofar Mireshghallah, Steven Wu·· 23 小时前AI 评分38
分层扩散 Transformer(HiT):端到端图像生成新架构
Hierarchical Diffusion Transformer for End-to-End Image Generation
AI 导读
研究者提出分层扩散 Transformer(HiT),在主干网络中逐步将相关 token 分组并用单个 token 表示,从而在生成器内部学习视觉层级。HiT 在 ImageNet 256×256 上达到 1.48 FID,训练 FLOPs 约为 JiT 的 40% 即取得相当生成质量。
正文 · AI 翻译
摘要:像素空间扩散在单一端到端训练阶段中联合学习视觉表示与图像生成,无需单独预训练的视觉编码器。然而,普通像素空间 Transformer 在生成质量和训练效率上仍落后于领先的两阶段潜空间扩散模型。我们假设这一差距部分源于在整个主干网络中每个 patch 保留一个 token,这并未明确鼓励一种在逐渐更粗的层级上汇总相关内容的视觉层次结构。为解决此问题,我们引入了分层扩散 Transformer(HiT),它逐步将相关 token 分组,并用单个 token 表示每个组。主 Transformer 瓶颈处理这些紧凑的组 token,解组则将特征恢复到其原始图像位置。压缩预算调节整个批次上的平均压缩比,使得在训练和生成期间,组成员关系和数量可随图像和扩散时间步而变化。该模型展现出涌现的语义结构,无需分割标签即可学习将连贯的物体和物体部件分组。在文本到图像生成中,HiT 进一步学习将描述相同概念的图像 patch 与标题词分组,无需区域标注。HiT 在 ImageNet $256\times256$ 上达到 1.48 FID,并使用约 40\% 的累计训练 FLOPs 达到与 JiT 相当的生成质量。对于文本到图像生成,HiT 在五个基准上超过 UniLiP 的平均得分,同时去噪器参数约少 $6\times$,前向 FLOPs 约少 $3\times$。这些结果表明,在生成器内学习视觉层次结构打破了无需外部视觉预训练即可实现更强图像生成的障碍。
| 评论: | 审稿中 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22962 [cs.CV] |
| (或此版本的 arXiv:2611.22962v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.22962 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Xiaoyu Wu [查看电子邮件]
[v1]
2026年11月17日星期二 15:47:56 UTC(23,409 KB)
来源:arXiv cs.AI · arxiv.org