arXiv cs.CL· Zhiyun Shi·· 9 天前AI 评分27
Attic-KV：用自我测验式排练替代全文重读的 KV 缓存压缩方法
Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
AI 导读
论文提出 Attic-KV（Attic），一种免训练的 KV 缓存压缩方法，用引用上下文的问答对让模型自我测验，替代传统的全文重读式排练。
正文 · AI 翻译
摘要：许多键值（KV）缓存在任何人知道它们会被问什么之前就被压缩了：一个为检索而缓存的文档、一个跨请求共享的提示前缀、一段长对话的记忆。主流方法通过“排练”来为 KV 条目打分：模型重读上下文并保留它关注到的条目，假设缓存越完整地排练其上下文，它记得就越牢。我们表明，在紧张的预算下这一假设会适得其反：排练一切，什么都记不住。在 3% 的保留率下，重读整个上下文在 RULER 上仅保留 96.5 分中的 31.5 分，而在 LongBench 的自然文本任务上，它甚至低于完全不排练的方法。原因在于缓存会保留它所排练的内容：重读将预算分散到整个上下文，因此答案自身的条目存活率几乎仅相当于随机。就像考试前的学生一样，缓存通过自我测试比通过重读记住的更多。由此得出两条原则：排练将被读取的内容，并尽可能多地排练。我们将它们实例化为 Attic-KV（简称 Attic），一种免训练的排练方式，其中模型用引用上下文的问答对来测验自己，同时以内容自适应的数量加入锚点 token。仅改变排练方式就提升了三个以三种不同方式为其打分的主机：在我们于 RULER 和 LongBench 自然文本任务上测试的全部八个设置中，Attic 单独就是最佳的免训练方法，而接入基于梯度的 KVgrad 和经过训练的 RestoreKV+ 后，它分别将它们提升了最多 17.1 和 28.1 分。其优势随着预算缩小而增大，在 3% 的保留率下比完整重读高出 41.9 分，并且它比重读整个上下文压缩得更快。
| 评论： | 14 页，5 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12133 [cs.CL] |
| （或 arXiv:2610.12133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12133 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Zhiyun Shi [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 15:22:50 UTC（844 KB）
来源：arXiv cs.CL · arxiv.org