arXiv cs.AI· Hyunwoo Yu, Jongbeom Lee, Hyunbin Kim, Sungjun Park, Jaemin Choi, Jincheol Yang, Seunghun Moon, Bongjoon Hyun, Kyomin Sohn, Kyeongbo Kong, Suk-Ju Kang·· 11 小时前AI 评分48
OpenAttention：仅需 1% 读取，用尾部代理逼近稠密注意力
OpenAttention: One Percent Is Enough with Tail Proxies
AI 导读
OpenAttention 提出用聚类、ErrorGate 与 top-k 选择加计数感知均值代理来近似稠密注意力分布，在 Llama-3.1-8B 的 RULER-32K HARD 上以 1% 读取保留 99% 稠密准确率。
正文 · AI 翻译
作者：Hyunwoo Yu、Jongbeom Lee、Hyunbin Kim、Sungjun Park、Jaemin Choi、Jincheol Yang、Seunghun Moon、Bongjoon Hyun、Kyomin Sohn、Kyeongbo Kong、Suk-Ju Kang
摘要：稀疏注意力只读取键值缓存中的一小部分，而如何处理未读取的尾部仍是一项关键挑战。丢弃尾部会使输出产生偏差，而像以往方法那样对其进行采样，在读取比例降至 5% 及以下时会失效，此时尾部很可能包含选择器遗漏的重要 token。我们的关键观察是：最简单的代理——用一个 token 将整个尾部折叠为其计数感知均值——在实用选择器下，于每一种读取比例下所产生的输出误差都已低于采样。我们进一步以闭式形式证明，在低读取比例下，采样的权重误差几乎是丢弃的两倍，而单个代理则保持在其之下。基于这些发现，我们探索用若干针对尾部的代理来近似稠密注意力分布。我们提出 OpenAttention，其流程为聚类、ErrorGate 与 top-k 选择，随后接一个计数感知均值代理。为了既高效又有效地实现聚类与选择，我们设计了无需训练的 Query-Geometry Clustering（QGC）和 Query-Geometry Selector（QGS），它们在压缩键的同时遵循查询方向。此外，与以往仅按质心对簇排序的方法不同，ErrorGate 根据每个簇的估计权重误差来分配精确的读取量。在 Llama-3.1-8B 上的 RULER-32K HARD 中，OpenAttention 在 1% 读取比例下保留了 99% 的稠密准确率。它还在不同模型、上下文长度和数据集上取得了最先进的准确率。我们为 OpenAttention 定制的注意力内核在 1% 读取比例下，解码注意力阶段的运行速度比稠密注意力快 10$\times$。
| 评论： | 27 页。v2：修订了附录 C 并更正了摘要措辞。项目页面：此 https URL；代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30951 [cs.LG] |
| （或 arXiv:2610.30951v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30951 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hyunwoo Yu [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 09:03:08 UTC（670 KB）
[v2]
2026 年 10 月 23 日星期五 03:58:14 UTC（654 KB）
来源：arXiv cs.AI · arxiv.org