arXiv cs.AI· Ales Kubicek, Andrea Caciolai, Liangzu Peng, Sukrit Sumant, Benjamin Hoover, Fraser Greenlee, Ruairidh M. Battleday, Radim Urban, Torsten Hoefler, James C. R. Whittington·· 1 天前AI 评分45
Latent Sparse Attention（LSA）：面向亚二次方超长上下文的注意力方法
Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
AI 导读
研究者提出 Latent Sparse Attention（LSA），在学习的隐空间中对 key 分层聚类，让 query 只对聚类层级打分而非逐 key 计算，从而在超长上下文下保持精度并加速 prefill、decode 与训练。
正文 · AI 翻译
摘要：智能体工作流正日益转向长时程任务，例如开放式科学工作，在这类任务中模型能够受益于长上下文窗口。然而，在超长上下文（超过 100 万 token）下，全注意力代价过高。一个有前景的方法是稀疏注意力，即由专门的索引器为注意力选择一部分键。然而，当前的索引方法要么在上下文规模上仍具有二次方成本，要么在超长上下文规模下损失精度。我们通过 Latent Sparse Attention（LSA）解决这一问题，这是一种在超长上下文下仍能保持精度的有效注意力方法。在 LSA 中，键在学习到的潜在空间中被层次化聚类，查询对聚类层次进行打分，而不是对每个键打分，从而使长上下文下的预填充、解码和训练更快。我们提出两种变体：Distilled-LSA（D-LSA），可通过蒸馏应用于预训练模型；以及 Native-LSA（N-LSA），仅基于下一 token 损失进行原生训练。在 10M token 的 GLM-5.3-FLASH（QWEN-3.8-27B）上，D-LSA 相比其原始稀疏注意力（全注意力），在预填充中使单个注意力层加速 22.7 倍（72.4 倍），在解码中加速 4.6 倍（42.5 倍），同时在多种任务上保持相近精度。N-LSA 在 128k token 下达到全注意力的精度，且每层训练加速 1.6 倍。LSA 为模型提供了实用且高效的注意力，使其能够受益于超长上下文。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.42147 [cs.AI] |
| （或 arXiv:2610.42147v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42147 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrea Caciolai [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 17:59:34 UTC（5,380 KB）
来源：arXiv cs.AI · arxiv.org