arXiv cs.CL· Ekaterina Seregina·· 10 小时前AI 评分34
谁该为 KV-Cache 打分？中层才是 KV-Cache 淘汰的最佳评判者
Who Should Score the Cache? Mid-Depth Layers Are the Best Judges of KV-Cache Eviction
AI 导读
研究在 21 个模型上发现，KV-Cache 淘汰质量由打分层的深度决定：在 18 个具备逐层缓存的 0.5B 至 109B 模型上，长上下文检索准确率在浅层崩溃、在 0.4 至 0.75 深度处达到峰值、在最后一层下降。
正文 · AI 翻译
摘要：键值（KV）缓存淘汰方法按注意力分数对 token 排序，且每一层对自己的缓存打分。据我们所知，尚无淘汰方法探讨应由哪一层来打分。我们在二十一个模型上发现，打分层的深度决定了淘汰质量。在十八个具有逐层缓存的模型上（规模从 0.5B 到 109B），长上下文检索准确率在浅层崩溃，在深度的 0.4 到 0.75 之间达到峰值，并在最后一层下降。该曲线的产生是因为一层只有在利用问题找到答案之后才能很好地判断 token，而这需要若干层。我们将淘汰建模为 top-$k$ 截断，从预填充注意力计算答案存活概率，并复现了实测曲线。该方法使用已知答案的校准提示来选择打分层，所选层在大多数模型上都是实测的最佳层，且从未显著低于最佳层。它在十八个模型中的十六个上优于自身层默认设置，其中七个有显著提升，且均在 14B 或以下；而在更大的模型上，默认设置已接近最佳的中深度层。在紧张预算下，对最多 14B 的五个模型，从所选层为每个缓存打分、同时为所有头保留一组 token，也比逐头 SnapKV 高出 18 到 43 个百分点。这一增益在 32K 上下文的财务文件上同样成立，且内存预算相同，无需额外前向传播。同一条曲线也解释了共享缓存模型中的一种惩罚：多个层读取一个缓存，而默认由写入该缓存的层打分。在 Gemma-4-E2B 上，写入层较浅，在 10% 预算下比中深度读取层低 28 个百分点。我们还发现，在开卷问答（LongBench）中，没有哪个中深度层能胜过自身层默认设置。
| 评论： | 19 页，3 幅图 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02230 [cs.LG] |
| （或 arXiv:2611.02230v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02230 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ekaterina Seregina [查看邮箱]
[v1]
2026 年 11 月 1 日周日 21:46:00 UTC（104 KB）
来源：arXiv cs.CL · arxiv.org