arXiv cs.AI· Yanzhen Zhou, Zhengyu Han, Qunyou Liu, Zheyu Yan, Weihong Xu, Cheng Zhuo·· 14 小时前AI 评分31
SPARTA：面向长上下文边缘推理的稀疏三值 LLM 加速器，统一注意力与数据通路
SPARTA: A Sparse Ternary LLM Accelerator with Adaptive Attention and Unified Datapath for Long-Context Edge Inference
AI 导读
SPARTA 是面向长上下文边缘推理的稀疏三值 LLM 加速器，将三值 SpMM/SpMV 与位串行注意力映射到共享处理单元，并采用页级 Top-k 加 token 级 Top-p 的两阶段自适应注意力。
正文 · AI 翻译
摘要：边缘设备上的 LLM 受限于有限的内存和带宽。尽管 1.58 位三值权重大幅降低了模型存储，但长上下文推理日益受限于 KV 缓存流量和注意力。现有加速器还为三值线性层和注意力使用独立的数据通路，带来硬件和执行开销。我们提出 SPARTA，一种面向高效长上下文边缘推理的稀疏三值 LLM 加速器。SPARTA 集成了：(1) 相位感知的稀疏数据流，利用计算受限的预填充和内存受限的解码之间异构的稀疏性；(2) 统一的计算结构，将三值 SpMM/SpMV 和位串行注意力映射到共享处理单元上，以利用零权重和零位稀疏性；(3) 自适应两阶段注意力引擎，结合页级 Top-k 选择以减少 K 缓存访问，以及 token 级 Top-p 剪枝以减少 V 缓存流量。与全注意力相比，SPARTA 将 KV 流量降低 4.1-4.8 倍，与最先进的稀疏注意力方案相比降低 1.3-1.5 倍，并伴随依赖任务的质量损失。与 NVIDIA Jetson AGX Orin 相比，SPARTA 平均实现 3.9 倍的生成吞吐量和 8.3 倍的端到端能效；与 AMD Ryzen 7 9700X 相比，提升分别为 5.0 倍和 81.7 倍。与 FIGLUT、TeLLMe 和 MCBP 相比，它还实现了 1.6-12.0 倍的吞吐量、2.0-4.2 倍的能效和 1.3-51.4 倍的面积效率提升。
| 主题： | 硬件架构 (cs.AR)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.34824 [cs.AR] |
| （或 arXiv:2610.34824v1 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34824 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Weihong Xu [查看电子邮件]
[v1]
2026年10月26日星期一 04:13:47 UTC（1,488 KB）
来源：arXiv cs.AI · arxiv.org