arXiv cs.AI· Chengwei Zhou, Zhaoyan Jia, Massoud Pedram, Gourav Datta·· 13 小时前AI 评分31
Cord：面向掩码扩散语言模型的置信度锚定顺序残差解码
Cord: Confidence-Anchored Order Residual Decoding for Masked Diffusion Language Models
AI 导读
针对掩码扩散语言模型（dLLM）解码顺序问题，研究者提出 Cord——一种以置信度解码为稳定参照、通过几何残差学习何时偏离的轻量提示词条件策略。在 3 个 dLLM 和 5 个推理、代码与约束满足基准上，Cord 将平均任务成功率从置信度解码的 32.0% 提升至 48.2%，并优于各领域最佳固定残差。该方法仅增加 0.53M 可训练参数，无需额外主干前向，推理延迟开销为 5.39%。
正文 · AI 翻译
摘要：掩码扩散语言模型（dLLMs）的解码顺序会显著影响生成质量，但常见解码器通常在生成过程中始终采用相同的揭示规则。置信度提供了一个强有力的默认选择，但它衡量的是某个位置当前能被多果断地预测，而非揭示该位置对后续解码有多大用处。我们提出 Cord，一种轻量级的提示条件策略，它将置信度解码保留为稳定参考，并通过生成方向、与已揭示上下文的接近程度以及双向填充上的几何残差，学习何时以及如何偏离它。这些残差同时适应提示和不断演变的部分响应。Cord 并非在每个解码步骤采样新的策略动作，而是每次 rollout 采样一个低维系数矩阵，从而诱导出完整的、依赖于状态的揭示轨迹。这形成了一种上下文赌博机公式，直接根据序列级奖励进行训练，无需步骤级信用分配或骨干网络更新。在三个 dLLM 和五个推理、代码及约束满足基准上，Cord 将平均任务成功率从置信度解码下的 32.0% 提升至 48.2%，并进一步优于每个领域最佳固定残差。行为审计表明，学习到的残差在揭示局部性和双向填充方面引起了显著的、依赖于任务的变化。Cord 仅增加 $0.53$M 可训练参数，无需额外的骨干网络前向传播，且仅带来 5.39% 的推理延迟开销。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39372 [cs.CL] |
| （或 arXiv:2610.39372v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39372 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chengwei Zhou [查看电子邮件]
[v1]
2026年10月29日星期四 05:03:29 UTC（777 KB）
来源：arXiv cs.AI · arxiv.org