arXiv cs.AI· Jia-Shu Pan, Tao Zhang, Yufei Huang, Yanjun Sheng, Tailin Wu·· 10 天前AI 评分22
扩散模型中的特征信息动力学
Feature Information Dynamics in Diffusion
AI 导读
研究者提出"特征信息动力学"框架，用 I-MMSE 恒等式将特征互信息变化率与最优无条件/特征条件去噪损失之差关联，给出特征信息密度的实用估计方法。该框架先定量证实了像素扩散中的频谱自回归现象，又在 class→mask→Canny 条件链下发现像素、SDVAE、VAVAE 与 RAE 的逐特征信息密度存在差异，提示有序生成可能有利于扩散模型训练。
正文 · AI 翻译
摘要：扩散模型通过一系列连续的去噪问题生成数据，并且被广泛观察到先呈现粗粒度结构，再呈现精细细节。然而，这种直觉大多是经验性和定性的。我们引入了特征信息动力学，一个信息论框架，用于定位特征在扩散过程中何时被生成。利用 I-MMSE 恒等式，我们将特征互信息的变化率与最优无条件去噪损失和特征条件去噪损失之间的差距联系起来，从而得到特征信息密度的实用估计器。我们进一步提出了一种链式分解，将特征层级中的共享信息与增量信息分离开来。我们首先用该框架定量证实了像素扩散中的谱自回归，然后将分析扩展到频率之外：在类别 $\to$ 掩码 $\to$ Canny 条件链下，逐特征信息密度在像素、SDVAE、VAVAE 和 RAE 之间存在差异，揭示了这些表示之间的根本差异，并表明有序生成可能有利于训练扩散模型。我们的代码可在 此 https URL 获取。
| 评论： | 被接收为 NeurIPS 2026 海报。28 页，包括参考文献、附录和检查清单 |
| 主题： | 机器学习（stat.ML）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08626 [stat.ML] |
| （或 arXiv:2610.08626v1 [stat.ML] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08626 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiashu Pan [查看电子邮件]
[v1]
2026年10月6日星期二 16:24:07 UTC（1,012 KB）
来源：arXiv cs.AI · arxiv.org