arXiv cs.AI· Mahesh Bhosale, Yuanhao Zhai, Siwei Lyu, Junsong Yuan, David Doermann, Defang Chen·· 11 小时前AI 评分31
FisherDistill：用闭式 Fisher 判别器实现扩散分布蒸馏
FisherDistill: Diffusion Distribution Distillation via Closed-Form Fisher Critics
AI 导读
FisherDistill 提出用 Fisher 线性判别分析替代可学习对抗判别器，完成扩散模型蒸馏中的分布精修。方法利用冻结教师模型的中间表示估计真实与生成样本的一阶、二阶统计量，导出闭式 Fisher 方向以最大化分离特征分布，无需额外判别器及其优化循环。在多个蒸馏框架上，该方法均优于各自蒸馏基线，并大幅缩小与对抗精修版本的差距。
正文 · AI 翻译
摘要：扩散蒸馏的最新进展使得仅需一次或少数几次网络函数评估（NFE）即可生成高质量图像。尽管效率很高，但经过激进蒸馏的生成器往往仍与多步教师模型存在残余的分布差距，这促使近期方法引入基于学习到的判别器的对抗性精炼。在本工作中，我们探讨这种精炼是否必然需要学习到的对抗判别器。我们提出 \textbf{FisherDistill}，一种基于 Fisher 线性判别分析的简单替代方案。利用冻结教师模型的中间表示，我们估计真实样本与生成样本的一阶和二阶统计量，并推导出一个闭式 Fisher 方向，该方向相对于类内变化能最大程度地分离它们的特征分布。该方向提供了一种轻量级的精炼信号，补充原始蒸馏目标，而无需额外的对抗判别器或其优化循环。在多个蒸馏框架中，我们的方法始终优于各自蒸馏基线，并大幅缩小了与对抗性精炼对应方法的差距。代码：此 https URL
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07604 [cs.CV] |
| （或 arXiv:2611.07604v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07604 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahesh Bhosale 先生 [查看电子邮件]
[v1]
2026年11月5日星期四 07:53:14 UTC（5,846 KB）
来源：arXiv cs.AI · arxiv.org