arXiv cs.CL· Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki·· 11 小时前AI 评分29
重新审视掩码扩散语言模型训练中的位置监督
Reconsidering Positional Supervision in Masked Diffusion Language Model Training
AI 导读
研究发现，在 LLaDA-8B-Instruct 上用 Arena-Hard 测试时，仅将 1% 的生成 token 位移一个位置，就会显著降低对未干预模型的胜率，说明 CE 训练的 MDLM 在迭代并行解码下对微小位置偏移敏感。
正文 · AI 翻译
摘要：掩码扩散语言模型（MDLM）通过并行地解除 token 掩码来生成文本，近来已成为自回归语言模型的替代方案。它们可被视为使用逐位置交叉熵（CE）损失训练的并行解码器，与非自回归翻译（NAT）的设置相同。在 NAT 中，经 CE 训练的并行解码器被认为对微小的位置偏移敏感，因为 CE 会严厉惩罚这类偏移。我们探究经 CE 训练的 MDLM 在迭代解码下是否同样对这类偏移敏感。为检验这一点，我们施加一种受控干预，在解码过程中引入位置偏移。在 LLaDA-8B-Instruct 上使用 Arena-Hard 时，仅将 1% 的生成 token 位移一个位置，就会大幅降低相对于未受干预模型的胜率，表明 MDLM 在迭代并行解码下对这类微小偏移敏感。受此启发，我们将连接主义时间分类（CTC）——一种已知可在该场景中缓解此问题的对齐灵活目标——适配到 MDLM 的监督微调中。通过放宽 CE 施加的严格逐位置匹配，CTC 为损失留出吸收微小位置偏移的空间；具体而言，我们修改了 CTC 目标，使用一个特殊的 <slack> token 来吸收目标 token 与输出位置之间的位置不确定性，并采用更新后的折叠映射以保留目标表面形式。在四个开放式生成基准上，所得模型持续优于原始模型和匹配的交叉熵训练基线，且在全部四个基准上均取得统计显著的提升。这些结果将训练侧的对齐灵活性确定为 MDLM 监督微调的一个有用设计维度，与先前工作中探索的推理时方法互补。
| 评论： | NeurIPS 2026，悉尼 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2601.22947 [cs.CL] |
| （或 arXiv:2601.22947v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.22947 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mengyu Ye [查看邮箱]
[v1]
2026年1月30日星期五 13:09:21 UTC（6,512 KB）
[v2]
2026年6月1日星期一 14:58:28 UTC（81 KB）
[v3]
2026年11月5日星期四 09:26:38 UTC（90 KB）
来源：arXiv cs.CL · arxiv.org