arXiv cs.AI· Ekagra Ranjan, Bharat Venkitesh·· 10 小时前AI 评分31
Hybrid Spark：让内容自选草稿模型的自适应投机解码框架
Hybrid Spark: Adaptive Speculative Decoding That Lets the Content Choose the Drafter
AI 导读
Hybrid Spark 框架在每一步同时运行基于模型和无模型（如 n-gram 查找）的草稿器，通过为每个验证通过的草稿 token 定价，让每个请求选用更优的草稿链，且全程在 GPU 上完成、不破坏异步调度。
正文 · AI 翻译
摘要：推测解码（SD）可加速大语言模型（LLM）服务，但其收益取决于工作负载的\emph{形态}（如批大小和上下文长度）及其\emph{内容}。基于模型的草稿器对任意内容提出短块，而无模型草稿器（如 n-gram 查找）在输出重复其输入时（如代码编辑）以几乎零成本提出长复制。自适应验证将批级验证预算分配给最可能被接受的草稿 token，但仅支持一个基于模型的草稿器。无模型草稿器不提供逐 token 置信度，因此无法参与预算分配，部署必须固定一个草稿器或在草稿器之间拆分 GPU。我们提出 \sys，一个在每一步同时运行基于模型和无模型草稿器的框架，并在自适应验证内、完全在 GPU 上为每个请求提供两者链中更优者，从而保持异步调度完整。关键思想是每个已验证草稿 token 的价格：该槽位在批中其他地方本可获得的 goodput。一旦无模型草稿器的 token 携带校准的接受估计（在通用文本上拟合一次），该价格便将两个草稿器的链置于同一尺度。在 vLLM 中以 \dspark 和 n-gram 草稿器实例化，\sys 在批大小~4 的代码编辑上达到 \dspark 输出吞吐量的 1.10--1.62\x，在批大小~128 时达到 1.04--1.27\x，而在温度~0 的聊天上保持为其 0.97--1.01\x。因此单一部署可同时服务两种工作负载。
| 评论： | 推测解码 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05611 [cs.AI] |
| （或 arXiv:2611.05611v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05611 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ekagra Ranjan [查看电子邮件]
[v1]
2026年11月3日星期二 20:55:26 UTC（191 KB）
来源：arXiv cs.AI · arxiv.org