arXiv cs.AI· Jin-Fei Qi, Yiduo Li, Jiang-Xin Shi, Kan Liu, Tao Lan, Hanlin Tang, Yu-Feng Li·· 10 小时前AI 评分34
ADIndex：基于组级蒸馏的层自适应稀疏注意力索引方法
ADIndex: Layer-Adaptive Sparse Attention Indexing via Group-Level Distillation
AI 导读
ADIndex 提出一种面向 token 级稀疏注意力的自适应蒸馏索引方法，在 DeepSeek-V3.2 和 GLM-5.1 上于 LongBench、LongBench v2 和 RULER 保持近乎无损的任务表现。
正文 · AI 翻译
摘要：DeepSeek Sparse Attention（DSA）通过 token 级选择降低注意力机制的计算开销。然而，其索引器仍会为每个查询对整个因果前缀进行打分，使得索引成为长上下文推理中延迟的主要来源。值得注意的是，在长上下文长度下，仅索引器一项就可占总预填充 GPU 时间的 50% 以上。为解决这一瓶颈，我们提出 ADIndex，一种面向 token 级稀疏注意力的自适应且由蒸馏驱动的索引方法。ADIndex 集成了三个关键组件：(i) 一种逐层校准策略，其动机来自我们对显著的层间异质性的观察，能够自适应地适应跨查询的检索重叠；(ii) 一种组级蒸馏方案，利用这种异质性高效训练自适应的逐层组索引器，从单个查询中捕获显著的检索信号；(iii) 一种低延迟推理策略，通过查询组内的 token 库共享减少重复的全前缀扫描，同时保留查询特定的细化。在 DeepSeek-V3.2 和 GLM-5.1 上的实验表明，ADIndex 在 LongBench、LongBench v2 和 RULER 上保持了近乎无损的任务性能，同时相较标准 DSA 带来显著的效率提升，包括在 256K 上下文长度下、各逐层复用配置中预填充和解码内核分别最高达 6.22 倍和 3.40 倍的加速，以及在 128K 上下文长度下 1.54 倍的端到端服务加速。
| 评论： | 27 页，13 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.12956 [cs.LG] |
| （或 arXiv:2611.12956v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12956 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jinfei Qi [查看邮箱]
[v1]
2026 年 11 月 7 日星期六 06:35:09 UTC（1,084 KB）
来源：arXiv cs.AI · arxiv.org