arXiv cs.CL· Zhaoxiang Feng, Lanxiang Hu, Haoran Yuan, Yu-Yang Qian, Jihui Yang, Peng Zhao, Yibo Zhu, Tajana Rosing, Hao Zhang·· 3 天前AI 评分38
JetSpec++：前瞻并行草稿与自修正的推测解码方法
JetSpec++: Foresight Parallel Drafting with Self Refinements
AI 导读
UC San Diego 等团队提出推测解码方法 JetSpec++，通过块内自修正、块间前瞻草稿与流水线草稿验证三项设计，将草稿模型的边际耗时几乎降为零。相比自回归解码，其墙钟加速最高达 7.45 倍，比 DSpark 快 1.54 倍，在 GB200 上单请求最高 1,361 tokens/s，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开源。
正文 · AI 翻译
作者：Zhaoxiang Feng (1)、Lanxiang Hu (1)、Haoran Yuan (2)、Yu-Yang Qian (3)、Jihui Yang (4)、Peng Zhao (3)、Yibo Zhu (5)、Tajana Rosing (1)、Hao Zhang (1)（(1) UC San Diego，(2) UIUC，(3) 南京大学，(4) Meta，(5) StepFun）
摘要：推测解码的效果由两个量决定：草稿 token 的接受率以及生成它们的成本。我们表明，这两个目标可以通过算法与系统协同设计来共同优化，并提出 JetSpec++，它保留了一个强大的学习式草稿模型，同时几乎完全隐藏其成本。JetSpec++ 结合了三个组件：块内自精炼，训练草稿模型在一个 token 块内迭代修正自身的并行预测；块间前瞻草稿，在当前块被验证之前就开始下一个块；以及流水线化草稿与验证，将两个阶段重叠，使草稿的边际墙钟时间成本趋近于零。与最先进的推测解码方法相比，JetSpec++ 相比自回归（AR）解码实现了最高 $7.45\times$ 的墙钟加速，相比 DSpark 实现了 $1.54\times$ 的加速，在 GB200 上单请求最高可达每秒 1,361 个 token，在七个基准测试上的平均接受长度为 8.94，同时保持目标模型的输出分布。我们的代码和模型可在 this https URL 获取。
| Comments: | 31 页，4 张图，16 张表。Zhaoxiang Feng 和 Lanxiang Hu 贡献相同。代码和模型：this https URL |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19792 [cs.CL] |
| （或 arXiv:2610.19792v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19792 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhaoxiang Feng [查看邮箱]
[v1]
2026年10月14日星期三 08:37:27 UTC（324 KB）
来源：arXiv cs.CL · arxiv.org