arXiv cs.CL· Utkarsh Kanwat·· 13 小时前AI 评分34
将注意力偏置折叠进 Key：压缩 KV 缓存可直接跑在标准内核上
Folding Attention Biases into Keys Makes Compacted KV Caches Run on Standard Kernels
AI 导读
研究者提出把 Attention Matching 的逐 key 偏置沿每个 head 的一条闭式方向折叠进 key，使压缩后的 KV 缓存变成普通缓存，从而能被 FlashAttention 和 vLLM 的 paged cache 直接使用。
正文 · AI 翻译
摘要：注意力匹配（Attention Matching，AM）通过在每个头保留部分键、重新拟合其值并为每个保留键的 logit 添加偏置，从而压缩 KV 缓存。FlashAttention 和 vLLM 的分页缓存没有为其提供输入接口。我们将该偏置沿每个头的一个闭式方向折入键中，该方向在上下文查询上拟合得到，从而得到一个普通缓存，其大小和头维度与 AM 相同，并沿用模型自身的查询路径；输出误差受每个查询在该方向上的投影与 1 的距离所界定。在每头预算相等的情况下，未经修改的 vLLM 通过 KV 连接器提供折叠后的缓存，在全部 51 个 Qwen3-4B 问题上与 Hugging Face 的答案一致，在 200 个 Qwen3-14B LongBench 样本中的 180 个上与其贪心输出一致。在 QuALITY（Qwen3-1.7B、4B、8B、Llama-3.1-8B）和 LongHealth（三个 Qwen3 模型）上预算相等时，该折叠方法在 14 个设置中的 13 个上处于 AM 准确率的噪声范围内，在两者均运行的 12 个设置中，其相对完整缓存的 KL 均低于丢弃偏置的做法。在已发布的每头预算下，在 Qwen3-4B、其 Instruct-2507 变体和 Llama-3.1-8B 上，它在 10 个设置中的 9 个上处于 AM 的噪声范围内，在 KL 上不再优于丢弃偏置的做法，且两者在准确率上各胜一次。
| 评论： | 30 页，2 幅图，18 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36520 [cs.LG] |
| （或 arXiv:2610.36520v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36520 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Utkarsh Kanwat [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 02:22:37 UTC（87 KB）
来源：arXiv cs.CL · arxiv.org