arXiv cs.AI· Bole Ma, Ayesha Afzal, Jan Eitzinger, Harald Koestler, Gerhard Wellein·· 13 小时前AI 评分38
只有被接受的 token 才算数：延迟目标下投机解码的能耗核算
Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets
AI 导读
研究在 SGLang、CUDA graphs 开启的生产条件下，于 H100 和 H200 GPU 上测量投机解码的能耗，发现稠密模型中验证而非起草主导能耗成本。
正文 · AI 翻译
摘要：大语言模型服务受限于设施电力。每 token 能耗决定了数据中心能服务多少 token，而延迟目标则限制了每个用户多快收到这些 token。在解码阶段，每生成一个 token 都要从内存中读取全部权重。批处理可将这次读取分摊到多个用户，但不会让任何单个用户更快。投机解码则能做到：草稿模型提出若干未来 token，目标模型在一次前向传播中验证它们，并复用同一次权重读取。由于每个草稿 token 无论是否被接受都必须验证，投机所节省的能耗取决于有多少草稿 token 被接受。这一节省很难精确确定。它因不同注意力系列的目标模型和不同草稿方案而异，还取决于所服务的文本。我们评估的每个草稿模型在对话场景下接受的 token 都少于代码场景，每个训练过的草稿模型在低资源语言罗曼什语上接受的 token 都少于英语。我们在生产服务条件下（SGLang，启用 CUDA graphs），于 H100 和 H200 GPU 上、批大小最高 64、覆盖 5 个语料库，测量了投机解码。在稠密模型上，验证而非草稿主导了能耗成本。随着批大小增大，节省会缩小，因为批处理已经共享了投机本要在被接受 token 之间分摊的权重读取。在大批大小下，块草稿模型会将验证推过算术与内存流量之间的平衡点，进入计算受限区间，此时节省变为损失，而接受率低的草稿模型会提高每 token 能耗。此时用投机来满足更紧的延迟目标会消耗额外能耗。更大的批大小无需投机即可降低每 token 能耗。只有当接受率高时，投机才会增加这一节省；在我们测试的模型上，它几乎没有为保持延迟的 DVFS 留下余量。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2610.40287 [cs.DC] |
| （或 arXiv:2610.40287v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40287 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bole Ma [查看电子邮件]
[v1]
2026年10月29日星期四 15:37:45 UTC（206 KB）
来源：arXiv cs.AI · arxiv.org