arXiv cs.AI· Wenwu Tang, Dong Wang, Yun Cheng, Olga Saukh·· 12 小时前AI 评分31
ReSeed：仅调第一步即可恢复扩散模型蒸馏丢失的多样性
A First-Step Bias Restores Lost Diversity in Diffusion Model Distillation
AI 导读
研究者提出 ReSeed，一种后蒸馏方法，只在学生模型第一步去噪上添加 seed-response 偏置适配器，并对齐教师模型首个区间的割线速度，其余权重与后续步骤全部冻结。
正文 · AI 翻译
摘要：分布匹配蒸馏能够在仅几步去噪中实现高质量图像生成。然而，蒸馏后的学生模型往往在相同提示下将不同的初始噪声样本映射到相似的输出。为了定位多样性在何处丢失，我们沿采样轨迹比较教师模型和学生模型。测得的对不同初始噪声响应减少的最大幅度出现在第一个高噪声步骤。当我们用教师模型对应的轨迹替换第一步，并保持学生模型最后三步不变时，大部分输出多样性得以恢复。这表明第一步是恢复多样性的关键点。受此发现启发，我们提出 \emph{ReSeed}，一种后蒸馏方法，仅对学生模型的第一步添加种子响应偏置适配器，并将其速度与教师模型第一区间的割线速度对齐。所有学生模型权重和后续去噪步骤保持不变。我们在三个文本到图像模型（SD3-Medium、SD3.5-Medium 和 FLUX.1-dev）和一个文本到视频模型（Wan2.1-T2V-1.3B）上评估 ReSeed。对于蒸馏后的 4 步 FLUX.1-dev 模型，\emph{ReSeed} 相对于基础模型仅需 $0.00196\%$ 的额外可训练参数，并在 8,000 个提示--噪声对上训练，同时保持蒸馏学生模型完全冻结，且不需要目标图像、感知损失或对抗损失。它将 DINO 多样性提高了 $48.3\%$，同时保持有竞争力的视觉质量。这些结果表明，仅对第一个去噪步骤进行轻量、数据高效的调优，而无需微调完整的学生模型，即可恢复可观的多样性。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37110 [cs.CV] |
| （或 arXiv:2610.37110v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenwu Tang [查看电子邮件]
[v1]
2026年10月27日星期二 12:08:03 UTC（27,082 KB）
来源：arXiv cs.AI · arxiv.org