arXiv cs.AI· Chao Xu, Maohua Li, Qirui Li, Yixuan Xu, Yanke Zhou, Yunhe Li, Cuifeng Shen, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang·· 12 小时前AI 评分32
重新审视扩散 Transformer 中的跨层信息路由
Rethinking Cross-Layer Information Routing in Diffusion Transformers
AI 导读
研究对 Diffusion Transformers（DiTs）的跨层信息流做系统实证分析，指出传统残差相加存在前向幅值单调膨胀、反向梯度急剧衰减和块间冗余三个问题，并提出即插即用的残差替代方案 Diffusion-Adaptive Routing（DAR），对子层输出历史做可学习、随去噪时间步自适应的非增量聚合。
正文 · AI 翻译
作者：Chao Xu、Maohua Li、Qirui Li、Yixuan Xu、Yanke Zhou、Yunhe Li、Cuifeng Shen、Hanlin Tang、Kan Liu、Tao Lan、Lin Qu、Shao-Qun Zhang
摘要：扩散 Transformer（DiT）已成为现代视觉生成事实上的骨干架构，其设计的几乎每一个主要方面——分词、注意力、条件化、目标函数和潜变量自编码器——都已被广泛重新审视。然而，决定信息如何跨层累积的残差流，却直接沿袭自原始 Transformer。本文对 DiT 中的跨层信息流进行了系统的实证分析，同时沿深度和去噪时间步两个维度展开，并识别出传统残差相加的三个具体症状，即前向幅值单调膨胀、反向梯度急剧衰减以及显著的逐块冗余。基于这一诊断，我们提出扩散自适应路由（Diffusion-Adaptive Routing，DAR），这是一种可直接替换残差的方案，对子层输出的历史执行可学习、时间步自适应且非增量式的聚合。此外，所提出的 DAR 与许多现代 Transformer 增强方法（如 REPA）兼容。在 ImageNet $256\times256$ 上，DAR 将 SiT-XL/2 的 FID 提升 $2.11$（$7.56$ 对 $9.67$），并以 $8.75\times$ 更少的训练迭代达到基线收敛后的质量。叠加在 REPA 之上时，它在早期阶段带来 $2\times$ 的训练加速，这表明跨层信息路由是扩散建模中一个尚未充分探索的设计维度，且与现有的表示对齐目标正交。除预训练之外，DAR 还可应用于大规模 T2I 模型的微调阶段，并在分布匹配蒸馏过程中保留高频细节。代码见 this https URL。
| Comments: | NeurIPS 2026 Poster |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| Cite as: | arXiv:2605.20708 [cs.CV] |
| （或 arXiv:2605.20708v4 [cs.CV] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2605.20708 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Maohua Li [查看邮箱]
[v1]
2026年5月20日 星期三 05:07:15 UTC（5,460 KB）
[v2]
2026年6月16日 星期二 17:19:08 UTC（5,460 KB）
[v3]
2026年9月30日 星期三 09:30:50 UTC（5,456 KB）
[v4]
2026年10月20日 星期二 08:27:54 UTC（5,448 KB）
来源：arXiv cs.AI · arxiv.org