arXiv cs.CL· Naji Alazhar, Wassel Alazhar·· 6 天前AI 评分27
Adaptive DHiSparse：基于负载自适应 KV 层级结构的投机解码
Adaptive DHiSparse: Speculative Decoding over a Load-Adaptive KV Hierarchy
AI 导读
Adaptive DHiSparse 在分层稀疏 KV 上支持投机解码，并按负载自适应调整驻留策略，保留 DSpark 与 DFlash2 的提议和接受规则。在 100K 上下文、并发 128 下，GLM-5.3 搭配 DFlash2 每解码 GPU 输出 793 tokens/s，为 HiSparse 的 1.45 倍；在相同延迟约束下可支撑最高 4 倍并发。
正文 · AI 翻译
摘要：长上下文服务在硬件达到其有效吞吐量之前就耗尽了 KV 内存。HiSparse 将历史存储在主机内存中，仅获取选定的条目，但它在每次加载时都使用单一的缓存预算，并且不处理诸如 DSpark 和 DFlash2 之类的草稿模型推测解码。我们提出了 Adaptive DHiSparse，它支持在分层稀疏 KV 上进行推测解码，并根据负载自适应调整驻留。它保护所需的工作集，在 GPU 内存空闲时保留额外的历史，并通过精确融合检索恢复其余部分。DSpark 和 DFlash2 保持其提议和接受规则：查询共享缺失行检索，草稿 KV 使用窗口受限的环形缓冲区，验证暂存在各层组之间复用。在 100K 上下文和并发 128 下，使用 DFlash2 的 GLM-5.3 每解码 GPU 提供 793 个输出 token/s，是 HiSparse 的 1.45$\times$，是非推测自适应服务的 1.27$\times$。在与 HiSparse 相同的延迟界限下，它可维持高达 4$\times$ 的并发和 2.3 至 3.7$\times$ 的输出，具体取决于每 token 的界限。在 500K 上下文和并发 512 下的 DeepSeek-V4.1-Flash 上，使用 DSpark 的 Adaptive DHiSparse 提供的输出是使用 DSpark 的常驻服务的 1.85$\times$。在加载步骤中，可选驻留将主机获取从低负载下选定行的 14.2% 减少到 1.4%，并在压力下释放内存。
| 评论： | 16 页，11 幅图，6 张表 |
| 主题： | 人工智能 (cs.AI)；计算与语言 (cs.CL)；分布式、并行与集群计算 (cs.DC)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.13708 [cs.AI] |
| （或 arXiv:2610.13708v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13708 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Naji Alazhar [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 15:02:35 UTC（309 KB）
来源：arXiv cs.CL · arxiv.org