arXiv cs.CL· Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han·· 12 小时前AI 评分33
DLoop：循环式投机解码
DLoop: Looped Speculative Decoding
AI 导读
DLoop 提出一种循环式投机解码方法，在验证前自适应执行多轮起草，将累积的草稿 token 一次性交给目标模型验证，从而减少目标模型前向次数。在 EAGLE-3、DFlash、Domino、DSpark 及多 token 预测模块上，DLoop 将实际耗时加速提升 5% 至 41%，同时保持无损解码。
正文 · AI 翻译
摘要：推测解码可加速大语言模型的自回归生成。在每个起草阶段，轻量级草稿模型提出若干 token，随后由目标模型进行验证。随着草稿模型能力不断增强，我们发现目标模型经常接受某个起草阶段产生的全部 token。然而每个起草阶段之后仍会进行验证，导致即使起草本可继续，也会产生不必要的目标模型前向传播。自适应草稿长度方法在解码过程中决定在验证之前有多少个草稿 token，但它们只能为自回归草稿模型带来加速。对于并行草稿模型，继续起草需要目标模型为尚未验证的草稿 token 提供隐藏状态。我们提出 DLoop，一种循环形式的推测解码，可在验证之前自适应地执行多个起草阶段。当草稿模型保持置信时，DLoop 会继续起草，并将所有累积的草稿 token 一起验证。循环感知训练通过让草稿模型接触其自身针对未验证草稿 token 的隐藏状态，使其在额外的起草阶段中保持可靠。通过花费额外的草稿模型前向传播，DLoop 减少了验证所需的目标模型前向传播次数。在包括 EAGLE-3、DFlash、Domino、DSpark 和多 token 预测模块在内的多种推测解码方法上，DLoop 将实际耗时加速比提高了 5% 至 41%，同时保持无损解码。代码将发布于 此 https URL。
| 评论： | 22 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07659 [cs.CL] |
| （或 arXiv:2610.07659v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.07659 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Geonmo Gu [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 02:55:25 UTC（280 KB）
[v2]
2026 年 10 月 21 日星期三 03:47:16 UTC（280 KB）
来源：arXiv cs.CL · arxiv.org