arXiv cs.AI· Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li·· 11 小时前AI 评分38
FlashOffloading：面向长上下文 LLM 推理的低延迟 KV Cache 卸载方案
FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
AI 导读
FlashOffloading 是一种以主机 DRAM 为中心的推理架构，将 prefill 与 decode 阶段的 KV Cache 全部卸载到主机内存，通过滚动 HBM 缓存、decode 热缓存、反向稀疏索引和计算-加载重叠 kernel 降低卸载延迟。
正文 · AI 翻译
作者：Xuan Wang、Zhuanhao Wu、Tingzhu Fang、Xushi Li、Sicheng Zhang、Zhenyu Yang、Feng Liu、Zhaohui Fan、Qiang Xie、Huayi Zou、Yuncong Liu、Zeyu Song、Ke Zhu、Yanjia Zeng、Jingchun Gao、Yan Shi、Kui Luo、Gezi Li、Liangjun Feng、Cheng Li
摘要：在大语言模型（LLM）服务系统中，键值（KV）缓存随序列长度和并发数线性增长，因此长上下文推理很容易触及高带宽内存（HBM）容量上限，导致并发度偏低。将 KV 缓存卸载到主机动态随机存取存储器（DRAM）可释放 HBM 空间并提升并发度，但额外的缓存管理与主机到设备（H2D）加载开销会抬高推理延迟，更高的并发度无法转化为有效吞吐。我们提出 FlashOffloading，一种以主机 DRAM 为中心的推理架构，在预填充和解码两个阶段均完全卸载 KV 缓存。FlashOffloading 为预填充构建滚动 HBM 缓存，为解码构建热缓存，设计零额外未命中查找开销的反向稀疏索引，以及计算与加载重叠的内核，从而优化整个流水线中的 KV 卸载延迟，并在每输出 token 时间（TPOT）服务等级目标（SLO）下实现吞吐提升。在 Ascend910C 预填充—解码（PD）分离平台上部署 GLM-5.2 并结合多 token 预测（MTP3）投机解码的实验中，FlashOffloading 在 30 ms TPOT 约束下将预填充吞吐最高提升 1.38\(\times\)，解码吞吐最高提升 1.91\(\times\)。FlashOffloading 已集成到开源服务框架中：this https URL。
| 评论： | 含参考文献共 13 页，13 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07542 [cs.AI] |
| （或 arXiv:2611.07542v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2611.07542 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Tingzhu Fang [查看邮箱]
[v1]
2026年11月5日星期四 06:50:05 UTC（2,183 KB）
来源：arXiv cs.AI · arxiv.org