arXiv cs.AI· Aozhong Zhang, Selcuk Gurses, Yanxia Deng, Naigang Wang, Chi-Chun Liu, Davis Wertheimer, Derrick Liu, Xin Li, Zi Yang, Felix X. -F. Ye, Penghang Yin·· 2 天前AI 评分29
DropKV：解耦残差输出扰动实现近最优 KV-Cache 淘汰
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
AI 导读
DropKV 是一种基于解耦残差输出扰动（Decoupled Residual-Output Perturbation）的 KV-Cache 淘汰框架，通过将联合淘汰决策拆分为独立的逐 token 打分，绕开 NP-hard 组合难题，并在锥条件下提供可证明的常数因子近似保证。
正文 · AI 翻译
作者：Aozhong Zhang、Selcuk Gurses、Yanxia Deng、Naigang Wang、Chi-Chun Liu、Davis Wertheimer、Derrick Liu、Xin Li、Zi Yang、Felix X.-F. Ye、Penghang Yin
摘要：键值（KV）缓存管理已成为将大语言模型（LLM）扩展到长上下文场景的关键瓶颈，因为其内存占用呈线性增长。尽管近期的淘汰方法已超越简单的注意力分数启发式，转而纳入值表示，但它们通常面临一个根本性权衡：最小化输出扰动的底层优化是一个 NP 难组合问题，导致启发式方法在数学上次优，或实现难以核化。在这项工作中，我们提出了 DropKV，一个基于解耦残差-输出扰动的简单且有原则的淘汰框架。通过将联合淘汰决策解耦为独立的逐 token 评分，DropKV 规避了组合不可解性，并在锥条件下具有可证明的常数因子近似保证，我们在三个长上下文 LLM 上进行了实证验证。为确保实际可行性，我们提供了使用融合 Triton 内核的高性能实现，避免物化完整注意力矩阵，实现了 19.8 倍的评分内核加速，并转化为高达 9.9% 的匹配批次端到端预填充加速。在 RULER 和 LongBench 基准上的大量评估表明，在同等缓存预算下，DropKV 始终优于最先进的基线，在淘汰方法中实现了最低的推理延迟，同时也比动态缓存基线更快。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22130 [cs.AI] |
| （或 arXiv:2610.22130v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22130 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aozhong Zhang [查看电子邮件]
[v1]
2026年10月15日星期四 16:05:17 UTC（278 KB）
来源：arXiv cs.AI · arxiv.org