arXiv cs.AI· Soumik Mukhopadhyay, Long Mai, Abhinav Shrivastava, Aniruddha Mahapatra·· 11 小时前AI 评分29
重新审视原生像素扩散 Transformer 的设计空间：MFlow 与 ConvRefiner
Rethinking the design space of Vanilla Pixel Diffusion Transformers
AI 导读
研究提出 MFlow，一种在数据主方向上自适应插值 x0 预测与速度预测的参数化方法，随扩散训练端到端学习，发现模型容量增大时偏好会转向速度预测。MFlow 在 ImageNet、UCF-101 视频与大规模文生图任务上取得有竞争力或更优的生成表现。
正文 · AI 翻译
摘要：像素空间扩散模型最近重新成为潜在扩散模型的有力替代方案，它避免了有损的潜在瓶颈和单独训练的自编码器。JiT 表明，通过将常用的速度预测（$\boldsymbol{u}$-prediction）替换为干净图像预测（$\boldsymbol{x_0}$-prediction），普通扩散 Transformer 可以直接在像素空间中生成。在本工作中，我们重新审视这一选择，并引入 MFlow，一种自适应参数化方法，它学习在数据的主方向上于 $\boldsymbol{x_0}$- 和 $\boldsymbol{u}$-prediction 之间进行插值，并与扩散训练端到端学习。我们发现，偏好的参数化方式会随数据表示和模型容量系统性变化——值得注意的是，增加模型容量会使偏好转向速度预测。我们在 ImageNet、UCF-101 视频和大规模文本到图像生成上评估 MFlow，证明在多种设置下具有有竞争力或更优的生成性能。此外，我们发现普通像素扩散 Transformer，无论采用何种参数化，相对于真实图像都持续存在高频缺失。为解决此问题，我们引入 ConvRefiner，一个轻量级卷积模块，在保持扩散骨干冻结的情况下，事后使用对抗损失训练。仅需少量额外训练，ConvRefiner 即可恢复生成图像的高频统计特性，同时保持 FID。项目网页：this https URL。
| 评论： | 项目网页：this https URL。33 页，23 图，15 表。提交正在审阅中 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.23854 [cs.CV] |
| （或 arXiv:2610.23854v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23854 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Soumik Mukhopadhyay [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 17:59:30 UTC（36,563 KB）
来源：arXiv cs.AI · arxiv.org