arXiv cs.AI· Jarek Liesen, Matthew T. Jackson, Benjamin Ellis, Shimon Whiteson, Jakob N. Foerster·· 11 小时前AI 评分38
MoDDiT：Diffusion Transformers 中的简单 Token 路由
MoDDiT: Simple Token Routing in Diffusion Transformers
AI 导读
MoDDiT 通过架构改动让 token 独立经过 MLP 和自注意力两条路径，实现按 token、图像和去噪时间步动态分配 MLP 计算量，最少仅处理 12.5% 的 token。
正文 · AI 翻译
摘要：实时视频生成、交互式世界模型和端侧图像合成几乎已成为现实。扩散 Transformer（DiT）能实现出色的样本质量，使瓶颈转移到模型本身的吞吐量上。自然图像本质上是稀疏的，因为图像的大部分区域往往是背景，对场景内容贡献很小，且易于去噪。DiT 未能利用这种稀疏性，因为它们以静态且统一的方式处理图像 token。我们提出 MoDDiT，这是一种简单的架构修改，可学习通过 MLP 和自注意力操作对 token 进行路由。通过独立地将 token 路由通过这两个模块，MoDDiT 允许 MLP 中的动态计算分配随 token、图像和去噪时间步而变化。使用 MoDDiT 从头训练图像生成模型可显著降低训练和推理的计算成本，仅处理少至 12.5% 的 token。通过提高稀疏性和模型深度，MoDDiT 降低了成本，并在未路由的基线上提升了生成性能。学到的分配具有可解释性，揭示了计算如何随视觉内容和噪声水平变化。我们还使用 MoDDiT 训练视频生成模型，其中分配与运动相关，并将一个稠密双向视频模型蒸馏为一个稀疏自回归学生模型。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28086 [cs.CV] |
| （或 arXiv:2610.28086v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28086 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jarek Liesen [查看电子邮件]
[v1]
2026年10月20日星期二 12:05:49 UTC（3,301 KB）
来源：arXiv cs.AI · arxiv.org