arXiv cs.CL· Jack Cai, Lijie Yang, Vasilis Kontonis, Dimitris Papailiopoulos, Shivam Garg·· 2 天前AI 评分40
AbridgeKV：把长链推理压缩进学习型 pause token 的 KV cache
AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
AI 导读
AbridgeKV 将每段已生成文本压缩进少量学习型 pause token 的 KV 条目，从而释放原始 cache，让后续 token 改为关注这些 pause token。
正文 · AI 翻译
摘要：长链思维解码受限于内存：生成 token 的 KV 缓存随测试时计算量的增加而线性增长。逐出缓存条目并不能解决这个问题，因为从未在移除条目的缓存上训练过的模型会生成更长的内容，往往达到长度上限。我们改为训练模型压缩自身的输出。AbridgeKV 将每个已完成的生成文本块压缩为少量学习到的暂停 token 的 KV 条目。这些是带有训练嵌入的额外输入 token，不产生输出。一旦暂停 token 编码了该块，AbridgeKV 就释放该块的原始缓存；后续 token 转而关注暂停 token 的 KV 条目。三个新颖的选择使这一方法奏效：暂停 token 的 KV 条目占据其所替代块内的位置，缓存预算根据各层条目的实测价值在层间分配，压缩在相对较大的块上进行。在来自 AIME、HMMT、AMC、BRUMO、CMIMC 和 SMT 的 446 道竞赛题上，以 32K token 生成，保留生成缓存的四分之一，在准确率和输出长度上与同样训练的全 KV 模型相当；在匹配预算下最强的已发表逐出方法写出远长得多的内容，而最接近的训练压缩器在同一数据上重新训练后损失 10 分。在 vLLM 中部署时，每个序列的缓存小 3.5 倍，饱和的 H100 完成一道题比使用全 KV 快 3.2 倍。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20641 [cs.CL] |
| （或 arXiv:2610.20641v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.20641 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ziyang Cai [查看邮箱]
[v1]
2026年10月7日星期三 17:39:41 UTC（237 KB）
来源：arXiv cs.CL · arxiv.org