arXiv cs.AI· Yanjin He, Cuifeng Shen, Wanzhou Lei, Maohua Li, Tao Lan, Kan Liu, Hanlin Tang, Qing Qu·· 14 小时前AI 评分38
Swift：通过目标外推实现自引导弱到强扩散模型训练
SWIFT: Self-guided Weak-to-strong dIFfusion models via Target extrapolation
AI 导读
研究者提出 Swift 自引导训练方法，用冻结的弱去噪器外推干净回归目标，在不增加推理开销的情况下提升更强扩散模型。在 ImageNet-256 某配置下，Swift 用约一半总训练算力即超过基线最佳 FID；在 RAEv2 上无推理引导达 FID 1.15，加引导达 0.99。
正文 · AI 翻译
摘要：训练高质量的扩散模型计算成本高昂，而推理时引导往往会进一步增加采样成本。在本工作中，我们提出 Swift，一种简单而有效的自引导训练方法，它使用一个冻结的弱去噪器来改进更强的模型，且不增加推理开销。对于每个含噪输入，Swift 将干净回归目标从弱去噪器的预测处外推，放大仍欠拟合的分量。弱引导可以是一个早期训练检查点，在主模型训练期间无需反向传播，之后即可丢弃。所得模型保留原始采样器，并支持条件与无条件生成，无需标签丢弃或无条件分支。我们通过对 RKHS 中有限时间总体梯度流的谱分析来解释这一机制。借助提前停止的弱引导，我们证明：尽管回归目标偏离了后验均值，但非空范围的外推强度仍能带来严格低于匹配标准训练的后验均值误差。在 CIFAR-10 和 ImageNet-256 上的实验表明，该方法在不同模型规模和表示下均有改进。在一种 ImageNet-256 配置中，Swift 使用大约一半的总训练计算量（包括引导准备和训练开销）就超越了基线的最佳 FID。在 RAEv2 上，它在无推理时引导的情况下达到 FID 1.15，在有引导的情况下达到 0.99。这些结果确立了目标外推作为一种有效的弱到强扩散训练方法，并具备高效的单模型推理能力。
| 评论： | 38 页，含附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.25844 [cs.LG] |
| （或 arXiv:2610.25844v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.25844 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yanjin He [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 05:57:55 UTC（39,929 KB）
[v2]
2026 年 10 月 25 日星期日 03:31:23 UTC（39,854 KB）
来源：arXiv cs.AI · arxiv.org