arXiv cs.CL· Haoyang Zheng, Yidong Ouyang, Blake Jianhang Chen, Tian Tan, Ziqian Lin, Liqian Peng, Alec Go, Guang Lin·· 10 小时前AI 评分17
扩散语言模型何时该重新审视其 token 承诺？PURL 提出可修正解码框架
When Should Diffusion Language Models Reconsider Their Commitments?
AI 导读
针对 Masked Diffusion Models（MDMs）并行采样易产生不一致预测的问题，研究者提出 PURL（Planned Unmasking-and-Revision Joint Learning）训练框架，将并行生成与选择性 token 修正统一起来。
正文 · AI 翻译
本文已被 Haoyang Zheng 撤回
摘要：掩码扩散模型（MDMs）以通过并行解码实现快速文本生成而闻名。然而，独立的并行采样可能做出不一致的预测，而如何有选择地修正这些早期 token 承诺则鲜为人知。在本工作中，我们为 MDMs 引入了 $\underline{\mathrm{P}}$lanned $\underline{\mathrm{U}}$nmasking-and-$\underline{\mathrm{R}}$evision Joint $\underline{\mathrm{L}}$earning（PURL），这是一个基于训练的框架，将并行生成与选择性 token 修正无缝统一。我们推导出一个归一化的联合转移，其似然可分解为编辑选择、解掩码选择和 token 预测。这些组件根据模型自身的解掩码策略构建的部分掩码序列进行联合训练。在推理过程中，所有三个决策都由单次共享前向传播支持，使模型能够解码掩码 token 并修正噪声 token。在逻辑谜题、数学推理和代码生成任务中，PURL 在匹配的解掩码预算下提高了准确率，相对提升最高达 47.4% 的准确率改进，并将计划解码轮数最多减少 $8\times$。除这些收益外，我们的分析进一步揭示了可修正解码的一般原则：随着上下文积累，token 编辑变得更有效；早期编辑可以引导未完成的轨迹，而后期编辑往往保持局部化；因此，有效的编辑取决于校准何时干预以及学习在哪里和如何修正。总之，这些表明有效的并行生成不取决于修正更多 token，而取决于在正确的时间使正确的承诺可修正。
| 评论： | 本文正在撤回，因为尚未就 Google 对其公开发布的授权达成一致 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.11551 [cs.CL] |
| （或 arXiv:2611.11551v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.11551 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyang Zheng [查看电子邮件]
[v1]
2026年11月8日星期日 18:49:48 UTC（1,083 KB）
[v2]
2026年11月10日星期二 17:21:23 UTC（1 KB） （已撤回）
来源：arXiv cs.CL · arxiv.org