arXiv cs.AI· Yu Zhao, Zekun Zhang, Fan Jiang, Bo Zeng, Xintong Wang, Chonghan Liu, Shimin Shan, Yichao Du, Yu Liu·· 12 小时前AI 评分42
LISA：面向高效长上下文推理的线性索引稀疏注意力
LISA: Linear-Indexed Sparse Attention for Efficient Long-Context Reasoning
AI 导读
LISA 是一种即插即用的自注意力替代方案，无需完整预训练，通过线性注意力分支与 Lightning Indexer 动态选取相关 token 的稀疏注意力分支经学习门控融合。
正文 · AI 翻译
摘要：DeepSeek-R1 等长链思维（CoT）推理模型在测试时扩展下不断延长其推理链，但标准自注意力在上下文长度上产生二次方开销，使得长 CoT 在生产环境中的部署成本高昂。为此，我们提出 LISA（Linear-Indexed Sparse Attention，线性索引稀疏注意力），一种即插即用的自注意力替代方案，无需完整预训练。LISA 将用于长程记忆的线性注意力分支与一个 Lightning Indexer 相结合，后者动态选择最相关的 token 供稀疏自注意力分支使用。两个分支通过一个学习得到的门控进行融合，使模型在保留广泛上下文的同时将计算集中于信息量大的 token。
我们分两个阶段训练 LISA。第一阶段，将线性注意力分支与滑动窗口注意力集成，并从冻结教师模型的完整注意力分布中蒸馏。第二阶段，Lightning Indexer 取代静态窗口，并以逐头 KL 散度目标进行训练，以模仿教师的注意力模式。所得模型将 eager 模式下的自注意力计算从随序列长度二次方增长降至随生成 token 数量和所选上下文预算线性增长。
在 DeepSeek 蒸馏的 Qwen 模型上的实验表明，LISA 在 16K 上下文下将实测 eager 模式平均样本延迟降低 23.9%，且不降低长上下文推理质量。在九个数学与代码推理基准上，带门控的 LISA-1.5B 模型相较完整注意力基线将等权基准平均值提升 4.2 个百分点。
| 评论： | 20 页，10 幅图 |
| 主题： | 人工智能（cs.AI） |
| 报告编号： | LISA-v2-2026 |
| 引用为： | arXiv:2607.19358 [cs.AI] |
| （或 arXiv:2607.19358v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.19358 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhao Yu [查看邮箱]
[v1]
2026 年 5 月 29 日星期五 03:05:29 UTC（161 KB）
[v2]
2026 年 10 月 27 日星期二 13:29:13 UTC（194 KB）
来源：arXiv cs.AI · arxiv.org