arXiv cs.CL· Durga Prasad Maram, Dhruvesh Patel, Tahira Naseem, Benjamin Rozonoyer, Gaurav Pandey, Ram\'on Fernandez Astudillo, Andrew McCallum·· 12 小时前AI 评分22
δMDM：带纠错机制的插入式序列生成模型
Birth, Death and Diff: Insertion-Based Sequence Generation with Corrections
AI 导读
δMDM 为插入式掩码扩散模型加入替换与删除操作，使中间生成结果可被修正，从而支持更激进的并行解码。在 OpenWebText 无条件文本生成上，最高推理预算下生成困惑度较 FlexMDM 减半；在 TinyGSM 条件生成上以一半的 NFEs 达到 FlexMDM 同等准确率。该模型在速度—质量权衡上 Pareto 优于 FlexMDM。
正文 · AI 翻译
摘要：基于插入的掩码扩散模型通过将掩码插入与 token 去掩码交错进行，实现可变长度、并行生成。然而，由于其生成决策不可逆，激进的并行解码可能引入后续步骤无法纠正的错误，因此需要采用更保守的解码方式并增加前向传递次数（NFE）。此外，由于训练时需要对多种对齐方式进行边缘化，它们比标准 MDM 具有更高的熵，因此在缺乏纠正机制的情况下需要更加保守的解码。为解决这一局限，我们提出 ${\delta}$MDM，通过为基于插入的模型配备替换和删除操作，使中间生成结果可被修正。在训练过程中，我们让模型接触由激进去掩码和插入造成的错误，教会其纠正自身错误。在推理时，我们将插入和去掩码与纠正步骤交错进行，这些纠正步骤可以修正先前已去掩码的 token 并移除不必要的掩码。该机制使激进解码变得可行，同时提升生成速度和质量。在速度—质量权衡上，${\delta}$MDM 帕累托优于 FlexMDM（一种朴素的基于插入的 MDM）。在 OpenWebText 上的高多样性无条件文本生成任务中，在最高推理预算下，其生成困惑度相对 FlexMDM 减半。与使用可变长度填充序列从头训练的 MDM 相比，它在所有推理预算下都实现了更低的生成困惑度。在 TinyGSM 上的低多样性条件文本生成任务中，它以一半的 NFE 达到了与 FlexMDM 相同的准确率。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34310 [cs.LG] |
| （或 arXiv:2610.34310v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34310 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Durga Prasad Maram [查看邮箱]
[v1]
2026年10月25日星期日 14:23:38 UTC（3,084 KB）
来源：arXiv cs.CL · arxiv.org