arXiv cs.CL· Hao Gu, Xintong Yang, Zhiwei Li, Lei Zhu, Jian Yang, Qiyuan Zhu, Dezhi Li, Jingyuan Zhang, Zhizhuo Kou, Hao Wang, Bei Liu, Jiacheng Liu, Sirui Han·· 11 小时前AI 评分38
KV Cache 驱逐的门控机制：可学习门控为何失效及两项修正条件
The Gating Mechanism of KV Cache Eviction
AI 导读
论文分析 KV cache 驱逐中可学习门控的失效原因：门控位于 softmax 归一化内，常数门控会被归一化吸收并精确复现冻结模型，因此在语言建模损失下门控停留在近常数、无法排序任何条目。
正文 · AI 翻译
作者：Hao Gu、Xintong Yang、Zhiwei Li、Lei Zhu、Jian Yang、Qiyuan Zhu、Dezhi Li、Jingyuan Zhang、Zhizhuo Kou、Hao Wang、Bei Liu、Jiacheng Liu、Sirui Han
摘要：KV 缓存淘汰必须判断哪些条目携带了缓存其余部分无法再提供的信息。一种自然的估计方式是学习式门控：为每个缓存条目的注意力权重设置一个门控，并在模型自身的目标上训练该门控。该门控位于归一化 softmax 内部，在那里抑制一个条目会将其质量转移给其他条目，而不是将其丢弃。同一个归一化器会吸收任何逐查询常数，因此常数门控会相互抵消，并精确复现冻结模型。在语言建模损失上训练时，门控保持在接近常数的分数附近，而其损失却持续下降：优化是成功的，但冻结的主干是为稠密注意力拟合的，因此其损失偏好无操作，而接近常数的分数无法对任何内容进行排序。无操作并不是门控可以从中改进的下限，而是其目标所要求的结果。一旦门控发生移动，第二个障碍仍然存在，因为同一个梯度会因冻结模型已经犯下的错误而惩罚门控，而任何位置重加权都无法将其分离出来。可学习淘汰中的许多机制，从稀疏性惩罚到对离散决策的松弛，都是在绕过第一个障碍而非消除它；通过将稠密注意力置于门控触及范围之外，并使其目标为稠密模型的预测，这两个障碍都被消除。在这两个条件下，容量从来不是缺失的要素：无论是更大的评分器、对过去的显式访问，还是可训练的主干，都无济于事。对于淘汰不可避免地丢弃的内容也是如此，这些内容通过在同一个 softmax 内部读取的无参数质心恢复，效果远好于在 softmax 外部进行的任何记忆读取，因为它们必须返回的质量是该归一化器的一部分，且在其他任何地方都不可获得。在 75\% 的 KV 缓存压缩率下，该门控在 Qwen3-8B 上于 8K 时在 RULER 上达到 90.14，在 LongBench 上达到 46.03，分别比全缓存推理低 3.72 和 1.36 分。
| 评论： | 此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07605 [cs.CL] |
| （或 arXiv:2611.07605v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07605 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hao Gu [查看电子邮件]
[v1]
2026年11月5日星期四 07:53:37 UTC（557 KB）
来源：arXiv cs.CL · arxiv.org