arXiv cs.AI· Jiawen Qi, Jiayu Liu, Chang Gao, Zhaochun Ren, Qinyu Chen·· 6 天前AI 评分26
DeltaLLM：面向边缘 LLM 的 Delta-Key 稀疏注意力框架
DeltaLLM: Delta-Key Sparse Attention for Edge LLMs
AI 导读
DeltaLLM 是一个免训练的边缘 LLM 预填充注意力加速框架，通过因果注意力感知的 K-only delta 公式在 GQA 下实现 Delta-Key 跨查询头复用，并配合向量化结构化稀疏在线 softmax（VSSOS）将细粒度分数稀疏转为列级跳过。
正文 · AI 翻译
摘要：端侧 LLM 推理对边缘平台日益重要，但由于高计算与内存需求以及严格的资源约束，仍然充满挑战。现代应用往往涉及长提示。尽管紧凑模型通过权重压缩降低了线性层开销，但注意力机制在很大程度上仍未得到优化，并成为主要瓶颈，尤其是在预填充阶段。现有注意力剪枝方法主要面向高度并行的硬件（如 GPU）和长上下文窗口，限制了它们在边缘场景中的适用性。我们提出 DeltaLLM，一个基于算法-硬件-数据流协同设计的免训练 LLM 框架，用于加速预填充注意力。DeltaLLM 引入了一种因果注意力感知的仅 K 增量公式，使得在分组查询注意力（GQA）下能够跨查询头复用 Delta-Key。上下文感知的混合策略在对角线附近保留精确注意力，同时对非局部区域应用增量近似。对于分数-值乘法，我们提出了一种向量化结构化稀疏在线 softmax（VSSOS），将细粒度空间分数稀疏性转换为硬件友好的列级跳过。专用向量处理器架构和统一的稀疏/稠密注意力数据流充分利用了由此产生的稀疏性。在 BitNet-b1.58-2B-4T 和 LLaMA3.2-1B-Instruct 上评估，DeltaLLM 实现了高达 60% 的 Delta-Key 稀疏性和 63% 的结构化注意力分数稀疏性，平均精度损失可忽略不计。在 KV260 FPGA 板上，它相比 TeLLMe-v2 实现了 1.62 倍加速，同时减少了 DSP 和 BRAM 使用量。这些结果表明，DeltaLLM 支持高效的边缘 LLM 部署，并可与现有流水线集成而无需微调。
| 评论： | 本文已被 IEEE Transactions on Circuits and Systems for Artificial Intelligence (TCASAI) 接收 |
| 主题： | 人工智能 (cs.AI)；信号处理 (eess.SP) |
| 引用为： | arXiv:2507.19608 [cs.AI] |
| （或 arXiv:2507.19608v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2507.19608 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Qinyu Chen [查看电子邮件]
[v1]
2025 年 7 月 25 日星期五 18:23:18 UTC（781 KB）
[v2]
2026 年 10 月 9 日星期五 15:10:32 UTC（2,925 KB）
来源：arXiv cs.AI · arxiv.org