arXiv cs.CL· Ruitian Wang, Xinyu Yang, Minshen Zhang, Hao Zhang·· 11 小时前AI 评分52
RecSA：以对数级成本实现百万 token 长度外推的递归稀疏注意力
Recursive Sparse Attention: Million-Token Length Extrapolation at Logarithmic Cost
AI 导读
研究者提出 RecSA（Recursive Sparse Attention），在 KV cache 上构建树结构，每个节点用一个 key 和一个均值池化 value 概括其子树，使每个查询的选择成本降至 O(log L)。
正文 · AI 翻译
摘要：在约 1M token 的上下文长度下，稠密注意力在预填充和解码阶段代价高昂，且训练通常依赖长文档，而随着目标长度增加，长文档愈发稀缺。大多数稀疏注意力方法会对所有前序块或 token 打分，因此在上下文长度为 $L$ 时，每个查询的选择成本为 $O(L)$；分层选择可将其降至 $O(\log L)$，但此前可训练的分层方法仅在其训练长度内报告准确率。我们提出 RecSA（递归稀疏注意力），它在 KV 缓存上构建一棵树，每个节点用一个 key 和一个均值池化的 value 概括其子树。这些 key 来自每层一个池化器，由所有层级共享，并从稠密注意力中蒸馏得到。token 之上的每一层最多选择 $k$ 个候选，因此每个查询的选择成本为 $O(\log L)$，并读取 $O(\log L)$ 个条目；未选中候选的摘要与精确 token 共享同一个 softmax。每个条目的 RoPE 位置是它在所在层级候选中的索引，因此在任意长度下，所有相对距离都保持在训练期间见过的范围内。RecSA 从 Qwen3-4B 初始化，并在原模型 32K 训练长度下用 0.62B token 训练，在 RULER 上从 131K 到 2M 的每个长度都优于所有基线；在 1M 时得分为 60.5，而最佳基线 Dense + DCA 为 40.0。借助我们优化的内核，RecSA 在 64K 到 2M 的端到端预填充和解码中都比稠密注意力更快；在单块 H200 GPU 上、524K 时，它将预填充加速 3.2 倍，解码加速 3.8 倍。
| 评论： | 24 页，6 幅图，17 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07232 [cs.CL] |
| （或 arXiv:2611.07232v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07232 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruitian Wang [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 23:36:45 UTC（411 KB）
来源：arXiv cs.CL · arxiv.org