arXiv cs.CL· Leon Lufkin, Cutter Dawes, Alexander Speicher, Kamesh Krishnamurthy, Tom\'as Figliolia, Beren Millidge·· 10 小时前AI 评分58
ZHA：基于分层树状索引器的次二次注意力方法
Subquadratic Attention with a Hierarchical Tree-Structured Indexer
AI 导读
论文提出 Zyphra Hierarchical Attention（ZHA），一种基于分层树状索引器的渐近次二次稀疏注意力方法。ZHA 在 KV cache 上构建递归压缩的 key 摘要树，查询自顶向下遍历以检索稀疏 key 子集，通过迭代增加树深度使路由与最终注意力的总成本随序列长度次线性增长。
正文 · AI 翻译
摘要：注意力的二次方缩放是限制大语言模型（LLM）长上下文能力的根本瓶颈。已有多种方法试图规避这一问题，但它们要么无法达到注意力的表达能力（例如具有固定大小状态的滑动窗口或线性注意力变体），要么只能实现常数因子加速（例如稀疏注意力方法，其索引器本身也按二次方缩放）。在本文中，我们基于分层树状结构索引器推导出一种渐近次二次方的稀疏注意力方法，我们称之为 Zyphra 分层注意力（ZHA）。ZHA 在 KV 缓存上构建一棵由递归压缩的键摘要组成的树，后续查询自顶向下遍历该树，以检索稀疏的键子集。关键在于，通过迭代增加树的深度，包括路由和最终注意力在内的总成本随序列长度呈次线性增长，从而使注意力整体呈次二次方（但超线性）缩放。我们证明，ZHA 可以低成本地应用于现有的预训练模型，只需在数十亿 token 上进行短暂的 KL 蒸馏训练阶段，并能在长上下文检索以及具有挑战性的推理、数学和智能体编码评估任务上保持性能。此外，我们表明我们的方法对树的几何结构高度鲁棒，包括深达 6 层的极深树。最后，我们开发了一个详细的性能模型，并表明我们的方法呈次二次方缩放，在超过 100 万上下文时显著优于竞争方法，并最终有潜力将有效上下文窗口扩展到数亿甚至数十亿 token。
| 评论： | 43 页 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.42112 [cs.CL] |
| （或 arXiv:2610.42112v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42112 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Leon Lufkin [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 17:48:37 UTC（18,646 KB）
来源：arXiv cs.CL · arxiv.org