arXiv cs.CL· Yangyi Shen, Pin-Jui Ku, Nicolai Oswald, Jean-Marie Lemercier, Yonggan Fu, Stefano Ermon, Jure Leskovec, Boris Ginsburg, Ante Juki\'c·· 3 天前AI 评分27
One Block Ahead：让扩散语言模型并行解码下一个 block
One Block Ahead: Promoting Sampler State in Diffusion Language Models
AI 导读
针对块扩散语言模型仍按严格顺序去噪 block 的问题，研究者提出免训练解码算法 One Block Ahead（OBA），在去噪当前 block 的同时并行去噪下一个 block，并将下一 block 的 token 与对应的采样器状态（含自条件信号和去噪时间）一同提升。
正文 · AI 翻译
摘要：块扩散语言模型并行地对整个 token 位置块进行去噪，因此每次前向传播可以生成多个 token。然而，块之间仍按严格顺序去噪，这一成本是块内加速无法触及的。在此，我们研究并发解码块，并提出 One Block Ahead（OBA），一种无需训练的解码算法，可在去噪当前块的同时去噪下一个块。我们证明，对于均匀状态扩散 LM——其中块的去噪进度无法从其中间 token 中看出——如果下一个块的 token 与相应的采样器状态（包括自条件信号和去噪时间）一起被提升，则并发解码是有利的。我们还推导出一个盈亏平衡准则，将 OBA 的收益与成对块前向传播的相对成本联系起来。在 DiffusionGemma（一种最先进的扩散 LM）上，OBA 使每次前向传播的 token 数增加 42.3%（从 15.64 增至 22.25），单请求去噪吞吐量在十个基准上平均提高 16.3%，准确率略有下降。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19510 [cs.CL] |
| （或 arXiv:2610.19510v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19510 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yangyi Shen [查看电子邮件]
[v1]
2026年10月14日星期三 03:28:31 UTC（184 KB）
来源：arXiv cs.CL · arxiv.org