arXiv cs.CL· Adrian Baule·· 11 小时前AI 评分31
掩码扩散即随机顺序吸附：一个可精确求解的并行解码模型
Masked diffusion as random sequential adsorption: an exactly solvable model for parallel decoding
AI 导读
研究将掩码扩散模型的并行解码误差映射为驱动多粒子系统的统计物理问题，证明对任意数据，并行生成误差等于生成过程相对逆向掩码过程的熵产生。对马尔可夫数据，生成过程等价于带标签间隙的随机顺序吸附，并可对任意步数精确求解；多步极限下误差由 token 间互信息给出的热力学度量决定，最优调度是该度量的测地线。文本相关性越长，误差越集中在生成初期，先小步后加速的调度在路径误差和困惑度上均更优且所需步数更少。
正文 · AI 翻译
摘要：掩码扩散模型通过逆转随机掩码过程来生成文本。与逐词生成文本的自回归 LLM 不同，它们可以并行揭示多个词元，代价是产生误差，因为同时揭示的词元是独立抽取的。我们表明，这种权衡对应于驱动多粒子系统的统计物理。(i) 对于任何数据，并行生成的误差是生成过程相对于逆向掩码过程的熵产生。(ii) 对于马尔可夫数据，生成是一个带标记间隙的随机顺序吸附过程，我们对任意步数给出了精确解。(iii) 对于多步情形，误差变为缓慢驱动系统的耗散：解掩码调度扮演驱动协议的角色，步数对应其持续时间，而误差由我们从词元间互信息以闭式形式得到的热力学度量决定。最优调度是该度量的测地线。精确解表明文本中的相关性如何塑造误差和输出质量。相关性越长，误差越集中在生成开始时。先以小步开始、随后增益更多的调度，在路径误差和困惑度上均表现更优，并且需要更少的步数即可达到其渐近行为。
| 评论： | 14 页（含附录），3 幅图 |
| 主题： | 统计力学（cond-mat.stat-mech）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07845 [cond-mat.stat-mech] |
| （或 arXiv:2611.07845v1 [cond-mat.stat-mech] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07845 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Adrian Baule [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 11:23:40 UTC（50 KB）
来源：arXiv cs.CL · arxiv.org