arXiv cs.AI· Jaeyong Song, Daniel Wang, Pratyush Patel, Jonny Kong, Preyas Shah, Shobhit Kanaujia·· 10 小时前AI 评分26
ForeSpark：面向并行投机解码的草稿与验证预算联合调度
ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding
AI 导读
ForeSpark 提出 work-conserving speculation（WCS）设计，在 LLM 服务中按请求联合分配草稿与验证预算，解决并行投机解码中草稿长度无法沿用自回归控制、且草稿与验证长度在批次内耦合的问题。
正文 · AI 翻译
摘要：并行草稿器通过在单次前向传播中提出一整块草稿 token 来加速 LLM 解码，因此对 LLM 服务颇具吸引力。近期系统优化的是有效吞吐量（即每秒被接受的 token 数），因为被拒绝的草稿会抢占其他请求的计算资源。然而，这些系统只能控制验证多少 token，因此每个请求仍会起草完整的一块。在高服务负载下，我们发现起草最多消耗 40% 的步进时间，其中大部分因从未被验证而被丢弃。然而，自回归草稿器的草稿长度控制无法沿用，因为并行草稿器在单次前向传播之前就已确定其长度。此外，草稿长度与验证长度在批次内相互耦合，因此必须为每个请求联合选择二者，同时保证每一步的决策计算开销低廉。本文提出工作守恒推测（WCS），一种在 LLM 服务中按请求联合分配草稿预算与验证预算的设计，并给出其原型 ForeSpark。ForeSpark 通过以下方式实现 WCS：(i) 上下文感知的预起草估计器，根据目标模型的上下文特征预测每个候选长度的接受率；(ii) 轻量级联合草稿-验证调度器，通过全局排序选择两种长度；(iii) 起草后预算分配，将验证预算用于最有希望的 token。在 vLLM 上实现后，ForeSpark 在匹配的每请求生成速率下，相比最先进的 DSpark 吞吐量最高提升 1.77 倍，相比自回归解码提升 2.49 倍，且不改变输出分布。它还能承受更高负载，在延迟服务等级目标（SLO）下可维持高达 DSpark 1.51 倍的请求速率。
| 评论： | 21 页 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13442 [cs.DC] |
| （或 arXiv:2611.13442v1 [cs.DC] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.13442 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaeyong Song [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 01:37:38 UTC（837 KB）
来源：arXiv cs.AI · arxiv.org