arXiv cs.CL· Fang Wan, Xufeng Liu, Fan Li, Yi Liu·· 9 天前AI 评分22
稀疏注意力是矩阵近似，而非从一堆数值中挑选
Sparse Attention Is Matrix Approximation, Not Choosing from a Bag of Values
AI 导读
针对稀疏注意力仅保留注意力矩阵中大数值或高权重区域的错误做法，研究者提出 Matrix Approximation Sparse Attention（MASA），用闭式评分衡量每个稀疏单元对矩阵乘积近似误差的削减量。MASA 可作为即插即用修正项加入现有稀疏注意力框架，无需改动稀疏 kernel 或预算，在多种稀疏注意力方法、benchmark 和 LLM 主干上取得一致的准确率提升。
正文 · AI 翻译
摘要：大语言模型（LLM）在许多领域都取得了强劲的性能，但其效率受限于注意力相对于提示长度的二次成本。稀疏注意力通过仅保留一小部分查询-键交互来近似完整的注意力矩阵，从而降低这一成本。然而，现有方法陷入了一种数学上错误的观点：它们只是简单地保留注意力矩阵中较大的标量项或高权重区域。这把注意力矩阵当作一袋数值来处理，忽略了它被用作一个结构化矩阵，其各项通过与值向量相乘共同决定注意力输出。我们认为这是核心的概念性问题：稀疏注意力应当被表述为矩阵近似，而不是盲目地从一袋项中挑选最大的值。基于这一观点，我们提出了矩阵近似稀疏注意力（MASA）。MASA 用闭式评分取代原始的注意力权重排序，该评分衡量每个稀疏单元能在多大程度上降低矩阵乘积近似误差。作为一种有理论依据的插件式修正，MASA 可以添加到现有的稀疏注意力框架中，而无需改变其稀疏核或预算。在多种稀疏注意力方法、基准测试和 LLM 主干上的大量实验表明，准确率获得了一致的提升，这既支持了 MASA，也支持了稀疏注意力的矩阵近似观点。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10871 [cs.CL] |
| （或 arXiv:2610.10871v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10871 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fang Wan [查看邮箱]
[v1]
2026年10月7日星期三 20:17:13 UTC（226 KB）
来源：arXiv cs.CL · arxiv.org