arXiv cs.CL· Giries Abu Ayoub, Mario Barbara, Llu\'is Pastor-P\'erez, Tanja Bien, Aneesh Barthakur, Alaa Maalouf, Loay Mualem·· 10 小时前AI 评分26
AXON:为扩散语言模型加速解码的免训练支持性 Token 揭示模块
Supportive Token Revealing for Fast Diffusion Language Model Decoding
AI 导读
AXON 是一个免训练模块,可叠加在现有扩散语言模型并行解码策略之上,通过注意力、不确定性和置信度信号选出“锚点”Token,把揭示标准从“哪些 Token 最安全”转为“哪些高置信揭示最能支持后续去噪”。在多个扩散语言模型的推理与代码生成基准上,AXON 改善了现有并行解码器的质量-延迟权衡,常能在保持或提升准确率的同时减少函数评估次数。
正文 · AI 翻译
摘要:离散扩散语言模型通过并行更新多个被掩码的位置来高效生成文本,但这种并行性带来了质量与延迟之间的权衡。激进的解码可能过早地确定相互依赖的 token,而保守的解码则需要许多去噪步骤。现有方法通过使用置信度或依赖标准来决定哪些 token 可以安全地揭示,从而应对这一矛盾。然而,避免不安全的确定并不一定能使剩余的掩码序列易于解码,因为不确定的 token 可能依赖于被掩码的 token,从而成为去噪步骤的瓶颈。我们提出 AXON,这是一个无需训练的模块,可以添加到扩散语言模型现有的并行解码策略之上。AXON 并不取代基础解码器,而是监控剩余的不确定掩码 token,仅当其当前状态表明需要额外上下文时才进行干预。随后,它将标准从“哪些 token 最安全可揭示”转变为“哪些有把握的揭示最能支持后续去噪”。AXON 利用注意力、不确定性和置信度信号来选择锚点,即不确定位置所关注的、有把握的掩码 token。在多个扩散语言模型上进行的推理和代码生成基准实验表明,AXON 改善了现有并行解码器的质量与延迟权衡,通常能在保持或提高准确率的同时减少函数评估次数。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2606.04236 [cs.CL] |
| (或 arXiv:2606.04236v2 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2606.04236 由 DataCite 颁发 arXiv DOI |
提交历史
来自:Giries Abu Ayoub [查看电子邮件]
[v1]
2026年6月2日星期二 21:35:54 UTC(1,765 KB)
[v2]
2026年11月19日星期四 05:04:09 UTC(1,771 KB)
来源:arXiv cs.CL · arxiv.org