arXiv cs.AI· Selin Yildirim, Ali Zeyrek, Deming Chen·· 4 小时前AI 评分31
SpecSearch:面向硬件感知的高效投机解码
SpecSearch: Towards Hardware-Aware Efficient Speculative Decoding
AI 导读
SpecSearch 是一个硬件感知搜索引警,联合优化解码策略、草稿长度与精度,在 RTX 5090、H100、L40 和 AMD MI300X 上配合 vLLM 实现平均 2.01 倍于自回归解码、1.36 倍于投机解码的吞吐量。
正文 · AI 翻译
摘要:推测解码(SD)可加速大语言模型(LLM)推理,但其最优配置同时取决于工作负载特征、GPU 硬件和可用内存。例如,在 RTX~5090 上,最先进的推测草稿模型 DFlash 在低并发下达到自回归(AR)解码吞吐量的 $3.50\times$,但在高并发且输出较短时仅为 $0.76\times$。我们提出 SpecSearch,一个硬件感知搜索引擎,可针对工作负载与 GPU 组合联合优化解码策略、草稿长度和精度。其解析成本模型刻画内存与计算约束,以识别可行配置并缩小吞吐量优化的搜索空间。在该模型指导下,从多个 GPU 收集校准测量数据。利用这些测量数据,基于 Jev 的预测器学习在未见过的 GPU 上选择高吞吐量解码配置,而无需在部署 GPU 上进行校准。该预测器在校准数据上以参数高效方式训练,同时使用 LoRA 适配器和线性校正层对冻结的 Qwen3-4B 进行适配。在 NVIDIA RTX~5090、H100、L40 和 AMD MI300X GPU 上,使用完整校准的 SpecSearch 平均达到 AR 吞吐量的 $2.01\times$ 和 SD 吞吐量的 $1.36\times$,两者均由 vLLM 提供服务。所提出的基于 Jev 的预测器与这一搜索性能十分接近,相比使用 vLLM 的 SD 实现 $1.30\times$ 的吞吐量提升,同时无需对未见过的 GPU 进行校准。此外,它保留了使用完整校准的 SpecSearch 所达到吞吐量的 $97.36\%$。
| 学科: | 人工智能(cs.AI);分布式、并行与集群计算(cs.DC) |
| 引用为: | arXiv:2611.22296 [cs.AI] |
| (或本版本的 arXiv:2611.22296v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22296 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Selin Yildirim [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 06:53:30 UTC(110 KB)
来源:arXiv cs.AI · arxiv.org