arXiv cs.CL· Jo\~ao Eduardo Batista, Emil Vatai, Mohamed Wahib·· 10 小时前AI 评分38
无需重训练：大规模混合 LLM 长上下文解码加速方法
Accelerating Long-Context Decoding in Large-Scale Hybrid LLMs Without Retraining
AI 导读
研究者提出一种无需训练或修改权重的组合稀疏注意力方法，加速混合 LLM 中剩余全注意力层的长上下文解码。该方法让每层只关注近期 token 滑动窗口、固定前缀和固定预算的最相关 token，窗口大小与预算通过多目标搜索逐层确定。
正文 · AI 翻译
摘要：大语言模型（LLM）的全注意力层使得每生成一个 token 都比前一个更昂贵，从而在长上下文任务中拖慢模型速度。混合模型通过将大多数全注意力层替换为线性注意力层来降低这一成本，但在长上下文中，前者仍然主导解码过程。我们在不进行任何训练或权重更改的情况下，使用组合稀疏注意力加速这些剩余的层：每一层关注一个近期 token 的滑动窗口、一个固定的前缀，以及上下文中固定预算的最相关 token。窗口大小和预算通过多目标搜索算法逐层确定。在来自三个系列的六个混合模型（参数规模从 4B 到 397B）上，所选配置在 21 个长上下文数据集上保持了其基线模型的准确率。在 Qwen3.5-4B 上，解码 64k/256k token 的速度提升至多 1.26x/2.22x；在 Qwen3.5-122B-A10B 上为 1.20x/2.23x；在 Ornith-1.0-397B 上为 1.16x/2.06x。
| 评论： | 19 页（正文：10 页，参考文献：3 页，附录：6 页），8 幅图，6 张表 |
| 主题： | 计算与语言（cs.CL）；性能（cs.PF） |
| 引用为： | arXiv:2611.06133 [cs.CL] |
| （或 arXiv:2611.06133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06133 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：João Eduardo Batista [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 08:18:38 UTC（266 KB）
来源：arXiv cs.CL · arxiv.org