arXiv cs.AI· Sara Abdali, Jongwoo Ko, Pashmina Cameron·· 10 天前AI 评分27
AttSVD：基于注意力引导 SVD 的提示词自适应低秩 KV Cache 压缩
AttSVD:Prompt-Adaptive Low-Rank KV Cache Compression via Attention-Guided SVD
AI 导读
AttSVD 是一种免训练的低秩 KV Cache 压缩方法，通过对每个提示词做在线截断 SVD，只保留注意力实际读取的方向，按保留秩成比例降低每头 KV 常驻内存。
正文 · AI 翻译
摘要：自回归 Transformer 的键值（KV）缓存随上下文长度线性增长，并在长上下文场景下主导内存占用。大多数免训练补救方法会逐出低重要性的 token，这是沿序列轴做出的不可逆选择。我们则保留每个 token，并沿“特征”轴以更低的成本存储它。因此，我们提出 AttSVD，一种新的“可解释”低秩压缩方法，其基由每个提示自身的注意力几何结构导出：一种在线的、针对每个提示的截断 SVD，仅保留注意力实际读取的方向，按保留的秩成比例地削减每个头的持久 KV 内存。我们提出两种解码时缓存策略——累积式和流式——分别适用于短生成和长生成场景。此外，我们提出两项改进，使压缩具有自适应性。逐矩阵能量规则分别确定 logit 空间和注意力质量的规模。注意力感知基截断仅在注意力实际读取的空间中进行，从而同时保留注意力 logit 和注意力输出。这些因子还免费提供了关于有效秩和注意力所消耗几何结构的逐头可解释性洞见。在多个模型上，无论是在一个智能体基准测试还是完整的 LongBench 套件上，AttSVD 都与稠密缓存保持相当，同时仅使用最多 50% 的 KV 缓存内存。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.06927 [cs.LG] |
| （或使用 arXiv:2610.06927v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.06927 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sara Abdali [查看邮箱]
[v1]
2026年10月3日 星期六 00:33:53 UTC（455 KB）
来源：arXiv cs.AI · arxiv.org