arXiv cs.CL· Xu Yang, Jiapeng Zhang, Yuxin Chen, Feiqiang Sun, Chengguang Xu, Feng Jin, Zhuo Tang·· 10 天前AI 评分29
Self-Indexing Attention：压缩兼容的稀疏长上下文 LLM 推理
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
AI 导读
研究者提出 Self-Indexing Attention，一个无需训练的稀疏长上下文推理框架，基于共享的变换域符号-幅值表示，用 1-bit 索引同时支持分组 prefill 选择和 decode 检索。
正文 · AI 翻译
摘要：稀疏长上下文推理需要在预填充和解码两个阶段都进行高效的 token 检索。现有方法通常对这两个阶段采用不同的检索策略，导致一种检索表示无法在整个推理过程中复用。我们提出 Self-Indexing Attention，这是一个无需训练的框架，建立在共享的变换域符号-幅值表示之上。关键符号为分组预填充选择和解码检索提供了可复用的 token 级索引，同时同一表示仍可与外部 KV 缓存压缩兼容，而无需单独的索引器元数据。这种 1 位索引通过现代加速器广泛支持的按位运算实现高效检索。在 5% 注意力密度下，Self-Indexing Attention 在 LongBench 和 RULER 上仍接近稠密注意力，并实现最高 6.1 倍的预填充和 10.3 倍解码注意力算子加速。使用 TurboQuant 和 DeepSeekV4-Flash 的实验进一步证明了其与低位 KV 缓存压缩和预训练稀疏注意力索引器的兼容性。
| 学科： | 信息检索 (cs.IR)；计算与语言 (cs.CL)；机器学习 (cs.LG) |
| 引用为： | arXiv:2609.13205 [cs.IR] |
| （或使用 arXiv:2609.13205v2 [cs.IR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.13205 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Xu Yang [查看电子邮件]
[v1]
2026年8月16日星期日 03:41:37 UTC（214 KB）
[v2]
2026年10月7日星期三 07:41:29 UTC（472 KB）
来源：arXiv cs.CL · arxiv.org