arXiv cs.AI· Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang·· 10 小时前AI 评分35
CompilerKV：通过离线经验编译实现风险自适应 KV 压缩
CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation
AI 导读
CompilerKV 将 KV 保留策略的校正表从校准语料离线编译，把在线校正简化为 O(1) 查表加预算钳制。在 512-token 预算下，它在四个骨干模型上均达到压缩 SOTA，平均比最强 prefill-only 基线高 1.67 分；32k NIAH 上得分 0.89，SnapKV 为 0.42。
正文 · AI 翻译
摘要：仅预填充的 KV 压缩会在预填充结束时冻结一个 token 子集，并从中解码，不再进行进一步的逐出。因此，保留决策是不可逆的，然而现有方法仅从单个含噪提示中在线估计其所依赖的校正信号，即逐头可靠性和提示级压缩敏感度。我们认为这是错误的统计单元：这些信号在跨提示上的规律性远高于提示内信噪比。我们提出 \textsc{CompilerKV}，一种 KV 保留策略，其校正表从校准语料库离线编译，从而在标准观察窗口扫描后将在线校正缩减为 $O(1)$ 次查找加上一次预算钳制。我们发现，编译后的保留表表现为可移植的架构先验：在四个骨干网络上，排名可跨不相交语料库迁移（平均 Spearman $\bar\rho{=}0.90$），而直接的模型到模型表迁移平均仅损失 $0.4$--$0.8$ 个 LongBench 分数。在 512 token 预算下，\textsc{CompilerKV} 在所有四个骨干网络上达到压缩 SOTA，平均比最强的仅预填充基线提升 $+1.67$ 分（任务自助法 95\% CI $[+1.08,+2.37]$）。压力情形会放大差距：在固定的 $512/32k$ 缓存比例下，\textsc{CompilerKV} 在 128k RULER 上仍是最强的压缩方法（$\sim\!73$ 对比 FullKV $\sim\!79$，SnapKV $\sim\!38$）；在 32k NIAH 上达到 $0.89$，而 SnapKV 为 $0.42$；在 32k 输入下，仅保留预填充 KV 的 $1.56\%$，batch-16 服务仍可行，而 FullKV 会 OOM。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.08686 [cs.LG] |
| （或此版本的 arXiv:2602.08686v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2602.08686 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yibo Liu [查看邮箱]
[v1]
2026年2月9日星期一 14:07:55 UTC（2,492 KB）
[v2]
2026年5月19日星期二 19:14:03 UTC（2,469 KB）
[v3]
2026年7月21日星期二 10:42:28 UTC（2,482 KB）
[v4]
2026年11月4日星期三 12:45:47 UTC（2,484 KB）
来源：arXiv cs.AI · arxiv.org