arXiv·· 14 天前AI 评分24
Sparse Asymmetric Group-Query Attention：用非对称稀疏注意力加速 LLM 解码
More Value per Key: Asymmetric Sparse Attention for Faster LLM Decoding
AI 导读
研究者提出 Sparse Asymmetric Group-Query Attention，通过减少 key head、保留更多 value head 来加速 LLM 推理。该方法发现稀疏注意力中概率与 value 的相乘已可忽略，瓶颈转移到 query-key 计算，因此削减 key head 能提速，而保留 value head 可在解码开销有限的情况下维持模型容量。
来源：arXiv · arxiv.org