arXiv cs.CL· Yue Wu, Qinghe Zhang, Yu Zhang, Jian Huang·· 10 天前AI 评分23
CoDR：面向扩散语言模型的免训练置信度漂移重掩码方法
CoDR: Training-Free Confidence-Drift Remasking for Diffusion Language Models
AI 导读
针对掩码扩散语言模型（MDLM）中已提交 token 不可逆、早期错误会传播的问题，研究者提出免训练且与采样器无关的 CoDR（Confidence Drift Remasking）。
正文 · AI 翻译
摘要：掩码扩散语言模型（MDLM）通过反复将词元提交到掩码位置来进行解码，但这些提交通常是不可逆的。在稀疏、部分上下文中选定的词元会被固定下来，即使后续上下文不再支持它也是如此。现有采样器主要决定何时提交词元，但很少检查已提交的词元是否仍应保留，从而使早期错误得以传播。我们将此问题追溯到置信度漂移，即模型对已提交词元的置信度从其稀疏的提交时上下文下降到后来可用的更密集上下文。基于这一信号，我们提出 CoDR（置信度漂移重掩码），一种无需训练且与采样器无关的细化过程。CoDR 仅通过 k 分区探测在 k 次前向传播中估计所有已提交位置的漂移，然后仅对模型不再认可的词元进行重掩码和重新生成。在两个骨干模型、四个推理与编码任务以及三个基础采样器上，CoDR 在所有评估的模型-采样器配置中提升了平均准确率，并在大多数单个任务设置中有所提升，且开销适中。对照实验表明，这些增益来自有针对性的置信度漂移重掩码，而非仅仅来自额外计算，并且 CoDR 使用的前向传播次数远少于先前的重掩码方法。代码可在 此 https URL 获取。
| Comments: | 17 页，6 幅图，17 张表 |
| Subjects: | 计算与语言（cs.CL）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.08833 [cs.CL] |
| （或 arXiv:2610.08833v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08833 由 DataCite 提供的 arXiv 颁发 DOI |
Submission history
来自：Jian Huang [查看邮箱]
[v1]
2026年9月28日星期一 16:43:09 UTC（864 KB）
来源：arXiv cs.CL · arxiv.org