arXiv cs.AI· Noam Elata, Itay Lamprecht, Mikey Shechter, Daniel Ohayon, Itay Hubara, Daniel Soudry·· 10 天前AI 评分24
SAGA：解耦 key/value 头数的非对称稀疏注意力，加速 LLM 解码超 2 倍
More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
AI 导读
研究者提出 Sparse Asymmetric Group-Query Attention（SAGA），将 key 头与 value 头数量解耦，并搭配近似 top-N（Atop-N）稀疏注意力，在长上下文下实现超过 2 倍于全注意力 GQA 基线的端到端解码加速。
正文 · AI 翻译
摘要：大型语言模型（LLM）中的自回归生成受到注意力机制的内存和计算需求的制约。稀疏注意力方法通过仅选择注意力矩阵中高概率的条目来缓解这一开销。我们观察到，在许多此类方法中，这使得概率-值乘法变得可忽略不计，将瓶颈转移到了查询-键步骤。因此可以减少键头以加速推理，同时保留更多的值头以在有限的额外解码开销下保持容量。我们提出了稀疏非对称分组查询注意力（SAGA），它解耦键和值的头数来利用这一原理，并将其与近似 top-N（Atop-N）注意力配对，这是一种简单的稀疏注意力方法，旨在研究稀疏性与头数非对称性之间的相互作用。我们从理论上形式化了这种非对称性的优势，并通过在高达 1.5B 参数模型上的延迟测量和质量评估进行了实证验证。在长上下文下，SAGA 和 Atop-N 共同实现了超过我们全注意力 GQA 基线 $2\times$ 的端到端解码加速。从头开始使用 SAGA 训练的模型在评估基准上几乎与可比的 GQA 变体质量相当。为便于采用，我们引入了一种高效的微调方法，可将预训练模型转换为 SAGA 架构，使从业者无需昂贵的重新训练即可受益于我们的方法。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.04753 [cs.CL] |
| （或 arXiv:2610.04753v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04753 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Noam Elata 先生 [查看电子邮件]
[v1]
2026年10月3日星期六 20:38:43 UTC（275 KB）
[v2]
2026年10月6日星期二 03:33:53 UTC（275 KB）
来源：arXiv cs.AI · arxiv.org