Apple 提出 Normalizing Trajectory Models（NTM）：四步采样保留精确似然

作者Jiatao Gu†、Tianrong Chen、Ying Shen‡**、David Berthelot、Shuangfei Zhai、Josh Susskind

基于扩散的模型将采样分解为许多小的高斯去噪步骤，当生成被压缩为少数几个粗粒度过渡时，这一假设便不再成立。现有的少步方法通过蒸馏、一致性训练或对抗目标来解决这一问题，但在此过程中牺牲了似然框架。我们提出了归一化轨迹模型（NTM），它将每个反向步骤建模为具有精确似然训练的表达性条件归一化流。在架构上，NTM 在每个步骤内结合浅层可逆块，并在整个轨迹上使用深度并行预测器，形成一个端到端网络，可以从头训练或从预训练的流匹配模型初始化。其精确的轨迹似然进一步支持自蒸馏：一个轻量级去噪器在模型自身诱导的得分函数上训练，可在四步内生成高质量样本。在文本到图像基准上，NTM 仅需四步采样即可匹配或超越强大的图像生成基线，同时独特地保留了生成轨迹上的精确似然。

• † 宾夕法尼亚大学
• ‡ 伊利诺伊大学厄巴纳-香槟分校
• ** 在 Apple 期间完成的工作

相关阅读与更新。

离散流匹配通过迭代地将噪声 token 转换为连贯语言来生成文本，但可能需要数百次前向传递。蒸馏利用多步轨迹来训练学生模型在几步内重现该过程。当学生模型表现不佳时，通常的解释是容量不足。我们认为恰恰相反：瓶颈是轨迹，而不是学生模型。每条训练轨迹都是通过……构建的

阅读更多

归一化流（NF）是一类经典的基于似然的方法，近来重新受到关注。近期如 TARFlow 等工作表明，NF 能够在图像建模任务上取得有前景的性能，使其成为扩散模型等其他方法的可行替代方案。在这项工作中，我们通过引入迭代 TARFlow（iTARFlow）进一步推进了归一化流生成模型的水平。与……不同

阅读更多