TRD：轨迹正则化分布蒸馏实现单步生成

Trajectory-Regularized Distribution Distillation for One-Step Generation

AI 导读

研究提出轨迹正则化分布蒸馏（TRD），通过单次学生前向预测的动量混合策略，同时充当一步生成器、学生边缘速度估计器和沿教师 ODE 轨迹监督的闭式时变速度场，从而在分布匹配中省去第二个可训练网络。在 SANA-1.6B 和 Stable Diffusion 3.5 上，TRD 在单步与少步生成的生成质量和训练效率上均优于代表性一致性蒸馏与分布匹配基线，代价是样本多样性有所折衷。

正文 · AI 翻译

查看 PDF

摘要：将流匹配模型蒸馏为一步生成通常遵循两种范式。轨迹对齐使用教师模型的概率流 ODE 来监督学生模型，但在极小的采样预算下性能会下降。分布匹配直接优化生成分布，但估计其反向 Kullback-Leibler 梯度通常需要单独的网络来跟踪不断演变的学生分数。我们提出轨迹正则化分布蒸馏（TRD），它通过一次学生前向传播中预测的动量混合策略，将分布级和轨迹级监督结合起来。该策略同时充当一步生成器、学生边缘速度的估计器（从而在分布匹配中无需第二个可训练网络），以及沿教师 ODE 轨迹监督的闭式时间相关速度场。在 SANA-1.6B 和 Stable Diffusion 3.5 上的实验表明，TRD 在一步和少步生成的生成质量和训练效率上均优于具有代表性的一致性匹配和分布匹配基线，但在样本多样性上存在权衡。

主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2611.12978 [cs.CV]
	（或 arXiv:2611.12978v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.12978 由 DataCite 颁发的 arXiv DOI

提交历史

来自：An Zhao [查看电子邮件]
[v1] 2026年11月8日星期日 06:05:40 UTC（16,498 KB）

来源：arXiv cs.AI · arxiv.org