arXiv cs.AI· Hongyao Liu, Liuqun Zhai, Junyi Wang, Zhengru Fang, Jingshu Chen, Jun Huang·· 9 天前AI 评分22
SparKV：面向端侧 LLM 推理的感知开销 KV Cache 加载框架
SparKV: Overhead-Aware KV Cache Loading for Efficient On-Device LLM Inference
AI 导读
SparKV 是一个结合云端 KV 流式传输与端侧计算的自适应 KV 加载框架，通过建模各 KV 分块成本来决定流式传输还是本地计算，并重叠两条执行路径以降低延迟。它还能在运行时细化离线生成的调度方案，以应对无线连接和边缘资源波动。实验显示，SparKV 将首 token 时间（TTFT）降低 1.3x-5.1x，单请求能耗降低 1.5x-3.3x，对响应质量影响可忽略。
正文 · AI 翻译
摘要：由于硬件资源有限，且预填充阶段成本高昂（该阶段需处理完整输入上下文以构建键值（KV）缓存），在设备端高效推理大型语言模型（LLM）仍面临挑战。我们提出 SparKV，一种自适应 KV 加载框架，将基于云的 KV 流式传输与设备端计算相结合。SparKV 对各个 KV 块的成本进行建模，并决定每个块应流式传输还是在本地计算，同时重叠两条执行路径以降低延迟。为应对无线连接和边缘资源可用性的波动，SparKV 进一步在运行时细化离线生成的调度，以重新平衡通信与计算成本。在多种数据集、LLM 和边缘设备上的实验表明，SparKV 将首 token 时间缩短了 1.3 倍至 5.1 倍，对响应质量影响可忽略不计，同时将每请求能耗降低了 1.5 倍至 3.3 倍，证明了其在实际设备端部署中的鲁棒性和实用性。
| 评论： | IoTJ |
| 主题： | 网络与互联网架构（cs.NI）；人工智能（cs.AI）；性能（cs.PF） |
| 引用为： | arXiv:2604.21231 [cs.NI] |
| （或 arXiv:2604.21231v3 [cs.NI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.21231 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hongyao Liu [查看电子邮件]
[v1]
2026年4月23日星期四 02:55:31 UTC（8,924 KB）
[v2]
2026年5月4日星期一 22:59:12 UTC（1 KB）（已撤回）
[v3]
2026年10月8日星期四 06:24:54 UTC（8,743 KB）
来源：arXiv cs.AI · arxiv.org