arXiv cs.CL· Siyuan Yan, Guo-Qing Jiang, Yuchen Zhang, Xiaoxing Ma, Ran Zhu, Chun Cao, Jingwei Xu·· 10 小时前AI 评分35
Adamas：面向高效长上下文推理的 Hadamard 稀疏注意力机制
Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference
AI 导读
Adamas 是一种 token 级稀疏注意力机制，通过 Hadamard 变换、分桶与 2-bit 压缩生成紧凑表示，并用轻量距离估计完成 top-k 候选选择。
正文 · AI 翻译
摘要：大型语言模型（LLM）现已支持数十万至数百万 token 的上下文窗口，从而支持长文档摘要、大规模代码合成、多文档问答和持久多轮对话等应用。然而，如此扩展的上下文加剧了自注意力的二次方成本，导致自回归解码出现严重延迟。现有的稀疏注意力方法通过仅关注一部分键值（KV）token 来降低这些成本，但固定或粗粒度的选择策略可能会遗漏重要 token，或在受限的 token 预算下保留大量冗余。我们提出 \textbf{Adamas}，一种用于长上下文推理的准确且高效的 token 级稀疏注意力机制。Adamas 应用 Hadamard 变换、分桶和 2-bit 压缩来生成紧凑表示，并使用轻量级距离估计进行高效的 top-$k$ 候选选择。随后，所选位置用于收集相应的原始 KV 状态以进行稀疏注意力。综合评估表明，Adamas 在 Llama-3.1-8B-Instruct 的有效上下文长度内保持了近乎无损的性能。在效率评估中，Adamas 在 32K 上下文长度下实现了高达 $6.5\times$ 的自注意力加速和 $1.7\times$ 的端到端解码加速。Adamas 在包括 AIME 2024 和 AIME 2025 在内的具有挑战性的长形式推理基准上也保持了与全注意力相当的性能。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.18413 [cs.CL] |
| （或 arXiv:2510.18413v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2510.18413 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Siyuan Yan [查看邮箱]
[v1]
2025年10月21日星期二 08:44:47 UTC（1,170 KB）
[v2]
2026年11月6日星期五 10:07:01 UTC（2,681 KB）
来源：arXiv cs.CL · arxiv.org