arXiv cs.CL· Parul Gupta, Satwik, Avni Aggarwal, Bhavesh Gurnani, Arnab Kumar Mondal, Dinesh Khandelwal, Dinesh Garg, Parag Singla·· 12 小时前AI 评分31
HMDLM：分层掩码扩散语言模型
Hierarchical Masked Diffusion Language Models
AI 导读
研究者提出分层掩码扩散语言模型（HMDLM），为每个 token 位置附加训练数据中已有的层级信息，将生成拆成两遍：先预测掩码位置的层级分布，再据此预测 token 分布，并让各层级拥有独立噪声调度，从而在完全并行解码下优先揭示高优先级位置。
正文 · AI 翻译
摘要：掩码扩散语言模型已成为自回归模型的一种替代方案，能够实现并行 token 生成。然而，标准的掩码扩散语言模型在各个位置上使用共享的噪声调度，而没有显式编码哪些位置应当优先被解析。许多任务在位置之间存在天然的优先级：文档标题和章节标题可以引导正文的生成，而可直接由初始线索确定的数独格子有助于解决更困难的格子。为了纳入这种 token 位置之间的优先级（或层级）概念，我们提出了分层掩码扩散语言模型（HMDLM），它为每个 token 位置附加一个层级标签，该标签可作为训练数据的一部分获得，且只需零标注或极少量额外标注。它将生成分解为两个阶段：第一阶段预测掩码位置上的层级分布，第二阶段以该分布为条件预测 token 分布。为每个层级赋予各自的噪声调度，从而对更早揭示高优先级位置形成一种柔和且可控的偏好，同时保持解码完全并行。我们的公式具有数学依据，并针对这一分解重新推导了前向过程、反向过程以及 NELBO。评估表明，在 LM1B 的语言生成任务上，HMDLM 相比近期提出的强扩散基线 Anchored Diffusion Language Model（ADLM）将困惑度降低超过 1.5 个点；在 WikiHow 上，相比 ADLM 困惑度最多下降 4.4 个点，相比 MDLM 最多下降 7 个点。在 WikiHow 上，LLM 评判器偏好 HMDLM 生成结果（两个变体合计）的频率是基线的 $2\times$ 以上。在需要多步推理的数独求解任务上，它相比现有扩散基线将求解准确率最多提升 $8.6\%$ 的绝对百分点。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29255 [cs.CL] |
| （或 arXiv:2610.29255v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29255 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Parul Gupta [查看邮箱]
[v1]
2026年10月21日星期三 06:06:01 UTC（978 KB）
来源：arXiv cs.CL · arxiv.org