arXiv cs.CL· Yuyan Zhou, Zeyuan Yang, Yuxuan Song, Zhicheng Cai, Hongli Yu, Weiying Ma, Hao Zhou, James Kwok·· 11 小时前AI 评分38
LED：用前瞻编辑改进掩码扩散语言模型
LED: Improving Masked Diffusion Language Models by Lookahead Editing
AI 导读
研究者提出 Lookahead Editing（LED），在掩码扩散解码中加入可重写提议状态，每步先做多次前瞻更新再提交 token，兼顾 MDM 的易优化转移调度与迭代修订的表达力。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）已成为自回归语言模型的一种有前景的替代方案，通过并行解码实现非自回归文本生成。现有的 dLLMs 大致可分为两类：掩码扩散模型（MDMs）和均匀扩散模型（UDMs）。在本工作中，我们从理论上证明，MDMs 因其基于掩码的转移调度而更易于优化，但计算表达能力较低；而 UDMs 支持迭代状态修正和更强的表达能力，但训练难度大得多。这一权衡引出了一个自然的问题：我们能否在不放弃 MDMs 简单、易于优化的转移调度的前提下，获得迭代修正的表达能力？受此分析启发，我们提出了前瞻编辑（\ours{}），它通过一个可重写的提议状态来增强掩码扩散解码。在每个解码步骤中，模型在该提议状态上执行若干次前瞻更新，以迭代地细化未来预测，然后再将 token 提交到掩码序列。这一设计引入了一个可重写的提议，利用额外的计算来提高表达能力，同时保持 MDMs 简单的基于掩码的转移调度。我们微调 Qwen2.5-7B 和 Qwen3-8B，分别得到 LED-\texttt{7B} 和 LED-\texttt{8B}。在八个基准测试上，LED SFT 相比标准 MDM SFT 平均分别提升 $+11.4$ 和 $+7.7$ 分。此外，仅使用 SFT，LED-\texttt{8B} 就优于 LLaDA2.1-16B Q-mode，后者经过了持续预训练、监督微调和强化学习的训练。
| 评论： | 10 页，5 张图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23122 [cs.LG] |
| （或 arXiv:2610.23122v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23122 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuyan Zhou [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 08:29:07 UTC（592 KB）
来源：arXiv cs.CL · arxiv.org