arXiv cs.CL· Chengcheng Wang, Tingzhang Luo, Wenhao Li, Jianyuan Guo, Chang Xu·· 11 小时前AI 评分31
TACG：面向扩散语言模型解码的轨迹感知提交门控
TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding
AI 导读
研究者提出免训练解码器 TACG，将当前 token 提议与是否提交该提议的决策分离，通过对比当前 logits 与历史 logits 的指数移动平均来评估时间支持度，并要求提议身份通过 History Gate 持续存在。
正文 · AI 翻译
摘要：扩散语言模型在每个去噪步骤中预测许多被掩码的位置，但其效率和输出质量取决于哪些预测进入不断演化的上下文。置信度信息量丰富，但对于这一决策并不完整：在置信度相同的情况下，具有不同身份和支持历史的候选提案表现出不同的一步修订率。我们提出轨迹感知提交门控（Trajectory-Aware Commit Gating，TACG），这是一种无需训练的解码器，将当前 token 提案与提交该提案的决策分离。TACG 通过将当前提案的 logits 与早期 logits 的指数移动平均值进行对比，为当前提案的时间支持度打分，要求提案身份通过历史门控（History Gate）得以保持，并在每一步提升有限数量的额外位置。该门控决定提交哪些位置以及何时提交；每个写入的 token 仍为同时期的基础提案。在所述单种子协议下进行的完整四任务 LLaDA 评估中，测得的任务特定工作点达到 51.02\% 的平均准确率，平均模型评估次数为 67.82，而 Native Confidence 为 48.00\% 和 76.59。在匹配的逐事件提交计数重放中，历史引导的选择在相同每样本 NFE 下比置信度排序高出 8.3 个准确率百分点。历史参考干预改变了提交时机，同时保留了基础提案写入规则。在 Dream 和 LLaDA2-Mini 上的实验刻画了跨骨干网络和生成长度的质量—成本行为。代码公开于 this https URL。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.03236 [cs.CL] |
| （或 arXiv:2607.03236v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.03236 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengcheng Wang [查看邮箱]
[v1]
2026年7月3日星期五 11:45:21 UTC（3,540 KB）
[v2]
2026年11月5日星期四 04:49:37 UTC（470 KB）
来源：arXiv cs.CL · arxiv.org