arXiv cs.AI· Wei Guo, Yaowen Zhang, Xingtong Ge, Jun Zhang·· 9 天前AI 评分22
扩散模型中的扰动传播:相同路径代价为何产生不同输出影响
Equal Path Cost, Unequal Output Effects: Understanding Perturbation Propagation in Diffusion Models
AI 导读
研究提出一个理论框架分析扩散模型采样中扰动的传播机制,用扰动与参考轨迹分布间的 KL 散度定义"路径代价",证明其能约束但不决定输出分布的变化。在预训练扩散模型上以相同路径代价进行受控干预,发现输出敏感度随采样阶段和空间频率呈现不同模式;将该分析用于缓存加速时,能可靠识别缓存导致较大图像误差的采样区间。
正文 · AI 翻译
摘要:扩散模型在生成建模中取得了显著成功,其采样过程常被修改以控制生成并提高效率。这些修改会在采样轨迹上引入扰动,由此引出一个核心问题:此类扰动如何影响生成的输出?为回答这一问题,我们构建了一个理论框架来研究扰动传播,将采样过程的动力学分析与输出响应的信息论刻画相结合。在该框架内,我们使用扰动轨迹分布与参考轨迹分布之间的 Kullback--Leibler(KL)散度来量化扰动强度,称为路径代价,并证明它能够界定但不能决定输出分布的变化。基于这一分析,我们推导出一个响应恒等式,将局部扰动的传播与累积同所选特征均值所捕获的信息联系起来,从而解释了为何输出分布的变化可能无法被其一阶响应检测到。我们在预训练扩散模型中通过等路径代价下的受控干预来检验我们的理论分析,揭示了输出敏感性在采样阶段和空间频率上的不同模式。为评估我们的框架能否诊断由实际近似引起的扰动,我们将其应用于基于缓存的加速,并表明我们的传播分析能够可靠地识别缓存导致较大图像误差的采样区间。
| Subjects: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.11380 [cs.AI] |
| (或 arXiv:2610.11380v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.11380 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Wei Guo [查看电子邮件]
[v1]
2026年10月8日星期四 07:12:36 UTC(1,304 KB)
来源:arXiv cs.AI · arxiv.org