Hacker News· matt_d·· 9 天前AI 评分24
自剪枝 Transformer：Universal Attention 实现极端 KV-Cache 压缩
A Self-Pruning Transformer: Extreme KV-Cache Compression w/Universal Attention
AI 导读
研究者提出 Universal Attention，一种端到端可训练架构，用复合衰减机制作为自适应剪枝准则，剔除对注意力计算贡献最小的 token，同时保留 RoPE 位置嵌入与 Softmax 注意力。该架构在自然语言和合成任务数据上实现 SOTA 的 10× 压缩，下游性能优于 SOTA 基线和未剪枝 oracle，并在 16k 长度下实现 25× 压缩，展现出更强的长上下文泛化能力。
正文 · AI 翻译
摘要：现代 LLM 庞大的 KV 缓存规模为高效部署带来了障碍。近期研究探索用基于衰减的替代机制取代注意力层的 RoPE 位置嵌入，从而可在推理时剪枝 KV 缓存。然而，这些衰减函数表达能力有限，在实践中退化为类似滑动窗口的淘汰模式。在本工作中，我们提出了一个统一框架，用于互补且新颖的衰减机制，在保留富有表现力的 RoPE 嵌入和 Softmax 注意力的同时，捕捉复杂的键统计信息和交互。由此得到的 Universal Attention 是一种极具表现力且可端到端训练的架构，其复合衰减机制充当自然、$\textit{自适应}$ 的剪枝准则，移除对注意力计算贡献最小的 token。实验上，Universal Attention 在自然语言和合成任务数据上实现了最先进的 $10\times$ 压缩，同时相比最先进的基线和未剪枝的 oracle 均$\textit{提升}$了下游性能。它进一步展现出卓越的长上下文泛化能力，在长度 16k 时实现了前所未有的 $25\times$ 压缩。
| 评论： | 27 页，3 幅图，14 张表 |
| 主题： | 机器学习（cs.LG） |
| 引用为： | arXiv:2610.09051 [cs.LG] |
| （或使用 arXiv:2610.09051v1 [cs.LG] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.09051 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ahan Gupta [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 20:00:04 UTC（1,592 KB）
来源：Hacker News · arxiv.org