arXiv cs.CL· Rodrigo Casado Noguerales, Bernhard Sch\"olkopf, Thomas Hofmann, Aran Raoufi·· 3 天前AI 评分29
离散扩散模型究竟学到了什么？同一逆向过程的三种坐标表示
What Does a Discrete Diffusion Model Learn? One Reverse Process in Three Coordinates
AI 导读
研究证明离散扩散模型中 denoiser、bridge plug-in 与 concrete score 三种方法学习的是同一对象——加噪过程的精确时间逆转，只是坐标不同，并给出三者间的精确转换关系。
正文 · AI 翻译
摘要：离散扩散模型究竟学到了什么？文献中训练了去噪器、桥接插件和具体分数，每种方法都在不同约定下推导出自己的 ELBO 目标。这种碎片化使得所学对象不明确，ELBO 值也难以解释和比较。这三种方法实际上是在不同坐标下学习同一个对象：加噪过程的精确时间反转。我们首先证明了 Oracle Distance 恒等式：对于任意加噪过程，负 ELBO 不仅是对似然的一个下界；它等于数据熵加上从反转加噪过程到所学过程之间的路径 KL 散度。接下来，对于按 token 分解的噪声，我们表明去噪器、桥接插件和具体分数是这一反转过程的三个坐标，推导出它们之间的精确转换关系，并确定各自学到的概率分布。特别地，与标准解释相反，桥接插件学到的不是去噪器，而是空腔分布：给定含噪序列但排除其自身位置时的干净 token。我们通过在共享配方下使用 masked、uniform 和 GIDD 核对 OpenWebText 训练全部三个坐标，并在四个逻辑任务上训练 uniform 扩散求解器，验证了该理论。转换后所学坐标一致，而将空腔与去噪器混淆会严重降低采样质量。结合精确边界项公式、初始化时的闭式 NELBO 校准，以及时间表的时钟解释，这些结果为推导、实现和比较离散扩散过程提供了概念框架和机械式配方。
| 评论： | 48 页，10 幅图。v2：修订并扩展；被 NeurIPS 2026 研讨会 Diffusion Language Models: Foundations, Efficiency, and Reasoning 接收为口头报告 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；信息论（cs.IT）；机器学习（stat.ML） |
| 引用格式： | arXiv:2607.05381 [cs.LG] |
| （或 arXiv:2607.05381v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.05381 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Rodrigo Casado Noguerales [查看邮箱]
[v1]
2026 年 7 月 6 日星期一 17:56:11 UTC（257 KB）
[v2]
2026 年 10 月 14 日星期三 17:57:33 UTC（321 KB）
来源：arXiv cs.CL · arxiv.org