arXiv cs.CL· Lexington Whalen, Yuki Ito, Ryo Sakamoto·· 11 小时前AI 评分31
让扩散模型学会从左到右推测：三项训练干预缩小投机解码的验证鸿沟
Teaching Diffusion to Speculate Left-to-Right
AI 导读
针对扩散草稿模型块内双向生成与自回归目标模型严格从左到右验证之间的不对称，研究提出 token 位置加权、首个错误焦点损失和链式损失三项训练干预，在四个目标模型、六个推理/代码/对话基准上把接受草稿长度较位置均匀基线提升 21-76%，且不增加额外前向计算、不改变推理流程与拒绝采样精确性契约。
正文 · AI 翻译
摘要：大语言模型（LLM）在广泛任务上取得了显著性能，但其自回归解码过程因固有的顺序 token 生成而带来大量推理开销。推测解码通过使用轻量级草稿模型提出多个未来 token，再由更大的目标模型并行验证，从而缓解这一瓶颈。近期工作表明，扩散语言模型非常适合这一场景，因为它们可以并行生成整块草稿 token，从而缓解自回归草稿的顺序约束。这一范式的一个微妙之处在于，块扩散草稿器在块内双向生成 token，而验证由自回归目标模型以严格的从左到右方式评估 token，从而在对称的训练时目标与非对称的验证时奖励之间留下差距。在本工作中，我们对三种缩小这一差距的训练时干预进行了实证分析：token 位置加权、针对每个块内破坏可接受前缀位置的首错焦点损失，以及用可微代理替代期望接受长度的链式损失项。这三种干预沿正交轴（位置、块条件首错、联合前缀）作用，并可叠加组合；它们同样与多草稿自选择等测试时对齐机制正交，原则上可与之结合。在四个目标模型和六个推理、代码与对话基准上，这三种干预相比位置均匀基线，在每个基准上将接受草稿长度提高 21-76%，且不增加额外前向传播，也不改变推理流水线或拒绝采样的精确性契约。
| 评论： | 13 页，技术报告 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.11552 [cs.CL] |
| （或 arXiv:2606.11552v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.11552 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Lexington Whalen [查看邮箱]
[v1]
2026 年 6 月 10 日星期三 01:21:56 UTC（1,311 KB）
[v2]
2026 年 6 月 22 日星期一 23:07:36 UTC（1,311 KB）
[v3]
2026 年 11 月 4 日星期三 18:51:59 UTC（2,243 KB）
来源：arXiv cs.CL · arxiv.org