arXiv cs.AI· Shuaiqi Cheng, Jiahao Zhang, Boyuan Gu, Yuxi Chen, Haiying Xu, Zexin Lu, Huiyu Zhou, Xuming Hu·· 11 小时前AI 评分29
TamedFlow：面向教师辅助扩散采样的轨迹感知蒸馏方法
TamedFlow: Trajectory-Aware Distillation for Teacher-Assisted Diffusion Sampling
AI 导读
TamedFlow 通过跨架构特征对齐、近恒等 Velocity Alignment Head 和随机 rollout 监督训练压缩 DiT，解决自适应推理与模型压缩结合时的“Combination Gap”问题。
正文 · AI 翻译
摘要：扩散 Transformer（DiT）能够生成高保真的图像和视频，但推理需要大量顺序的模型评估。两种加速策略日益重要：模型压缩使每次评估更廉价，而自适应推理通过复用、预测或推测执行来避免选定的教师计算。然而，二者的结合是脆弱的：将所评估的自适应方法直接应用于压缩后的学生模型会降低质量，我们将这一观察到的失效模式称为\textbf{组合鸿沟}。我们将该鸿沟与逐点蒸馏和短时程执行之间的不匹配联系起来：在教师状态下训练的学生模型，当其自身预测被链式串联时未必保持可靠。我们提出\textbf{TamedFlow}，通过跨架构特征对齐、近似恒等的速度对齐头以及随机化展开监督，训练压缩后的 DiT 以胜任这一部署角色。在推理时，一个轻量级可学习轨迹估计器对已完成的草稿进行路由：被接受的草稿绕过教师，而被拒绝的草稿则回滚并接受一次教师救援步骤。将 DiT-XL/2 蒸馏到 DiT-B/2，TamedFlow 在 ImageNet $256\times256$ 上以相对 DDIM-50 实测 $2.25\times$ 的加速达到 FID $2.58$。消融实验支持轨迹监督，且在几乎匹配的延迟下，路由控制倾向于 LTE 而非随机决策。在 ImageNet $512\times512$、MS-COCO 以及 Latte/FaceForensics 上的评估扩展了实证范围。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.26025 [cs.CV] |
| （或本版本使用 arXiv:2610.26025v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.26025 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Shuaiqi Cheng [查看邮箱]
[v1]
2026年10月19日星期一 08:48:14 UTC（1,288 KB）
[v2]
2026年10月20日星期二 08:02:36 UTC（1,288 KB）
来源：arXiv cs.AI · arxiv.org