arXiv cs.CL· Vansh Bansal, Cholyeon Cho, Syamantak Kumar, Sujay Sanghavi, Purnamrita Sarkar·· 10 天前AI 评分22
走快点但要小心：理解掩码扩散模型中的并行采样
Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion
AI 导读
研究以图上随机游走为可验证沙盒，分析掩码扩散模型（MDM）的并行采样策略，理论证明基于最低熵等常用评分的并行解掩码并不总优于随机并行采样，其表现取决于图结构诱导的条件依赖结构。
正文 · AI 翻译
摘要：在本文中，我们使用图上的随机游走作为可验证的沙盒，来研究掩码扩散模型（MDM）中的并行采样策略。我们在来自固定图的随机游走样本上训练一个 MDM。图和转移核从未展示给模型，而是作为潜在结构，既可控又便于评估。该框架为生成的游走提供了有效性检查，并通过估计的转移核提供了分布保真度的度量。使用简单的图，我们从理论上证明，通过广泛使用的分数（如最低熵）进行的并行解掩码并不一致地优于随机并行采样；即使有精确的条件概率，性能也关键取决于由图诱导的条件依赖结构，这一现象在像数独这样的基准中难以隔离。我们还为 MDM 开发了无需训练的对分采样器，它们在序列长度上取对数数量的步骤，并且如果学习到的边缘分布是精确的，则可证明对随机游走是精确的。图上游走任务的实验证实，不同的并行采样器在不同的图结构上表现更好。在预训练 MDM 上的实验表明，对分式采样器在 OpenWebText 生成以及包括 GSM8K、MBPP 和 HumanEval 在内的推理基准上提供了强大的速度-质量权衡。总之，这些结果使用图上游走来揭示条件依赖作为并行 MDM 采样的关键原则，并将这一见解转化为可迁移到语言生成和推理的高效采样器。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.22976 [cs.LG] |
| （或 arXiv:2606.22976v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.22976 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Cholyeon Cho [查看电子邮件]
[v1]
2026年6月22日星期一 07:56:50 UTC（2,272 KB）
[v2]
2026年10月7日星期三 14:59:29 UTC（691 KB）
来源：arXiv cs.CL · arxiv.org