arXiv cs.CL· Haeyong Kang, Chang D. Yoo·· 9 天前AI 评分28
Budgeted Cache Repair：跨上下文 KV-Cache 复用的预算修复方法
Budgeted Cache Repair for Cross-Context KV-Cache Reuse
AI 导读
研究发现跨上下文 KV-Cache 复用并非无损：在 MMLU 和 GSM8K 上会带来明显精度损失，且以整个调用为单位决定是否复用无法消除该代价。
正文 · AI 翻译
摘要：跨上下文 KV 缓存复用会在新前缀下预测共享段的键和值，而不是重新计算它们，并且据报道这样做不会造成质量损失。我们发现并非如此，并识别出两个问题。(1) 隐藏成本：在 MMLU 和 GSM8K 上，复用会带来显著的准确率损失。(2) 决策单元错误：没有任何决定是否复用缓存的规则能消除这一成本。真正有帮助的是选择缓存中哪些部分需要重新计算，而选择得当的价值随着选择单元的增大而下降：在单行（一个 token 的键和值）层面，有依据的选择在随机水平之上消除了 49.5% 的缓存误差，在 64-token 块层面为 10.6%，而在整个调用层面则毫无效果。预算化缓存修复（BCR）在选择仍有收益的单元上发挥作用。它从组装好的缓存中起草两个 token，根据这些 token 对缓存行所付出的注意力对缓存行进行排序，并以三种布局之一精确重新计算固定预算的行。成本是被支付的，而不是被预测消除的，而作为门控失败的草稿作为选择器却成功了。BCR 将 GSM8K 恢复到密集预填充的准确率，同时仍从缓存中服务大多数调用，其最佳布局在参考网格中优于所有复用基线的均值。在相同预算下，该草稿也优于抛硬币选择器——这是先前评估所缺乏的对照。
| 主题： | 硬件架构（cs.AR）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.02233 [cs.AR] |
| （或 arXiv:2610.02233v2 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02233 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haeyong Kang [查看电子邮件]
[v1]
2026年9月27日星期日 07:57:28 UTC（117 KB）
[v2]
2026年10月8日星期四 11:41:19 UTC（119 KB）
来源：arXiv cs.CL · arxiv.org