arXiv cs.AI· Yuechuan Chen, Yanda Guo, Xiaoxi Liu, Weilin Ruan, Huanbo Xu, Ruyi Wang, Wei Zhu·· 3 天前AI 评分20
ChampionKV：面向 KV Cache 压缩的按注意力头自适应预算分配
ChampionKV: Head-Wise Adaptive Budget Allocation for KV Cache Compression
AI 导读
ChampionKV 是一种输入自适应的按注意力头预算分配器，用于长上下文 KV Cache 压缩，以最大聚合观察窗口注意力分数作为注意力集中度的轻量代理，对注意力分散的头分配更大预算、集中的头分配更小预算。
正文 · AI 翻译
摘要：一些基于观察窗口的 KV 缓存压缩器利用提示注意力来识别重要 token，但在各注意力头之间分配统一或预定义的预算，忽视了预算需求随输入而异的差异。我们提出 ChampionKV，一种面向长上下文 KV 缓存压缩的输入自适应逐头预算分配器。它使用最大聚合观察窗口注意力分数作为注意力集中度的轻量级经验代理，为注意力分散的头分配更大预算，为注意力集中的头分配更小预算。异常头掩码和预算下限机制提升了在弱注意力响应下的鲁棒性。ChampionKV 可接入 SnapKV 和 PyramidKV 等压缩器，而无需改变其 token 选择流程。在 LongBench 和 RULER 上，两种 Champion 变体均持续优于其 SnapKV 和 PyramidKV 基础压缩器；在 Llama3.1-70B-Instruct 上提升最大且具有统计显著性，尤其是在预算紧张时，而在所测试的 7B/8B 模型上结果保持有竞争力但参差不齐。ChampionKV 并未全面超越 Ada-KV，后者的全局跨头 Top-K 选择在若干设置中仍具优势。受控分析进一步表明，在可忽略的开销下，保留注意力质量较相应基础压缩器有所提升。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18026 [cs.LG] |
| （或 arXiv:2610.18026v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18026 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuechuan Chen [查看邮箱]
[v1]
2026年10月13日星期二 09:19:24 UTC（4,017 KB）
来源：arXiv cs.AI · arxiv.org