arXiv cs.CL· Ke Wan, Zaiyi Zheng, Chen Chen·· 11 小时前AI 评分30
SPARE：用紧凑循环状态实现快速线性注意力解码
SPARE: Fast Linear Attention Decoding with Compact Recurrent States
AI 导读
SPARE 是一种无需训练的方法，通过固定低维子空间、异构秩分配和轻量写入补偿，直接对紧凑循环状态进行读取与更新，避免在线分解和稠密状态重建。它实现 2.55 倍全模型解码加速、循环核 DRAM 流量降低 7.49 倍、峰值 GPU 内存降低 3.31 倍，并在同等内存预算下保持优于结构化剪枝的关联检索准确率。
正文 · AI 翻译
摘要：线性注意力通过维护固定大小的循环状态，降低了 softmax 注意力的二次序列长度复杂度。然而，这些状态随表示维度呈二次增长，并且在解码过程中需要反复进行数据传输，从而造成显著的 GPU 内存瓶颈。近期研究揭示了循环状态中存在显著的低秩冗余，这为更高效的表示提供了机会。我们提出 SPARE（State Projection for Accelerated Recurrent Execution），这是一种无需训练的方法，通过固定低维子空间、异构秩分配和轻量级写入补偿来利用这种冗余。通过在紧凑状态上直接执行循环读取和更新，SPARE 减少了内存流量，且无需在线分解或稠密状态重建。SPARE 实现了 2.55 倍的全模型解码加速、7.49 倍的循环内核 DRAM 流量降低和 3.31 倍的峰值 GPU 内存降低，同时在相同内存预算下保持了优于结构化剪枝的联想检索准确率。
| 评论： | 10 页，4 幅图，2 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07552 [cs.CL] |
| （或 arXiv:2611.07552v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07552 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ke Wan [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 07:00:23 UTC（173 KB）
来源：arXiv cs.CL · arxiv.org