arXiv cs.AI· Denis Lukovnikov, Andreas M\"uller, Asja Fischer·· 10 小时前AI 评分31
JiT 图像 Transformer 引入后期像素精修，ImageNet@256 FID 降至 1.78
Just Image Transformers with Late-Stage Pixel Refinement
AI 导读
研究者在 JiT 的 post-training 阶段加入简单卷积像素通路层，显著提升无 latent VAE 的图像生成质量。该像素通路无需在去噪早期启用，可延迟到最后 20% 的去噪过程才激活。ImageNet@256 实验显示 FID 从修正采样后的 2.34 降至 1.78，且未使用额外损失。
正文 · AI 翻译
摘要：近期关于无潜变量扩散 Transformer 的研究表明，无需潜变量 VAE 即可训练图像生成器。这避免了 VAE 带来的压缩伪影，并简化了训练流程。特别是 JiT 表明，当模型被训练为预测最终图像（$x$-prediction）时，即使是标准 Transformer 也能被训练用于生成图像。尽管 JiT 实现了与潜变量模型相当的训练效率，但其图像质量仍然下降，这很可能源于将图像建模为大量大块（large patches）的集合。在本工作中，我们重新审视 JiT，并表明在训练后阶段加入简单的卷积像素通路层可显著提升生成质量。此外，我们表明所添加的像素通路无需在早期去噪阶段激活，可以晚至去噪过程的最后 $20\%$ 才激活。我们在 ImageNet@256 上的实验显示，与原始 JiT 结果相比有所提升，在不使用额外损失的情况下达到了 $1.78$ 的 FID（修正采样后从 $2.34$ 降至该值）。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.13120 [cs.CV] |
| （或 arXiv:2611.13120v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13120 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Denis Lukovnikov [查看邮箱]
[v1]
2026年11月9日星期一 19:08:13 UTC (37,621 KB)
来源：arXiv cs.AI · arxiv.org