扩散模型的置信度局限：Apple 研究揭示并行采样为何偏离训练分布

作者Russ Webb、Amitis Shidani、Alice Bizeul、Dan Busbridge

离散扩散，包括重掩码和均匀状态采样器，通过每一步写入多个 token 位置来生成序列，每个位置从逐位置分布中抽取，并从这些相同的分布中选择要写入的位置。对于普遍关注的领域（像素、音素或词），token 之间存在固有的依赖关系。我们表明，只有当某一步写入的位置在已固定的 token 条件下条件独立时，该步才与训练分布匹配；任何逐位置分布的乘积都无法匹配一个依赖组；并且逐位置分布无法确定一个组是否依赖：两个联合分布可以具有相同的逐位置边缘分布，但在哪些值组合出现上有所不同。在 ScanAndAdd 这一联合分布具有闭式形式的合成任务上，我们验证了置信度排序写入的每一组两个或更多未确定位置都是依赖的，并测得生成分布的总变差为采样噪声下限的 29 倍，而逐样本指标为 1.0。

相关阅读与更新。

在策略蒸馏为训练推理模型提供了密集的、逐 token 的监督；然而，目前尚不清楚这种信号在何种条件下有益、在何种条件下有害。应该使用哪个教师模型，在自蒸馏的情况下，哪个具体上下文应作为监督信号？最优选择是否会因 token 而异？目前，解决这些问题通常……

阅读更多

Transformer 因其强大的表示能力，在包括自然语言处理（NLP）、计算机视觉和语音识别在内的广泛应用中越来越受欢迎。然而，要有效利用这种表示能力，需要大量数据、强正则化，或两者兼有，以缓解过拟合。最近，Transformer 的能力通过自监督……被解锁。

阅读更多