arXiv cs.AI· Tek Raj Awasthi (Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg), Babita Awasthi·· 1 天前AI 评分38
metalSPARSE：面向 Apple Silicon GPU 的 2:4 半结构化稀疏 GEMV 内核
metalSPARSE: A 2:4 Semi-Structured Sparse GEMV Kernel for Apple Silicon GPUs
AI 导读
metalSPARSE 是首个面向 Apple GPU 的 2:4 稀疏内核，配合 Metal 编写的融合解码器，在 Qwen2.5-1.5B 全解码线性层启用 2:4 稀疏后，8 GB M2 MacBook Air 上解码速度比 PyTorch-MPS 上的 HuggingFace Transformers 快 3.6x，16 GB M4 上比 MLX 快 1.52x。
正文 · AI 翻译
摘要：自回归大型语言模型（LLM）一次生成一个 token，而每个 token 都要从内存中读取所有权重，因此在边缘设备上，解码受限于内存带宽。2:4 半结构化稀疏保留每四个权重中的两个，但 Apple 芯片 GPU 没有稀疏矩阵硬件，因此只有当内核实际读取的字节数更少时，剪枝才有帮助。我们提出 metalSPARSE，据我们所知这是首个面向 Apple GPU 的 2:4 稀疏内核，以及一个用 Metal 编写的融合解码器。这些内核以压缩形式流式传输权重，并在寄存器中展开它们。在 Qwen2.5-1.5B 上，对每个解码器线性层应用 2:4 稀疏后，在 8 GB M2 MacBook Air 上解码速度比 PyTorch-MPS 上的 HuggingFace Transformers 快 3.6 倍，在 16 GB M4 上比 MLX 快 1.52 倍。同一引擎在稠密权重上与 MLX 持平，因此增益来自压缩权重，稀疏性实现了其字节缩减所允许的加速的 97%。提示处理是计算受限的，不会加速。为保持质量，我们将 Wanda 掩码与逐块重建以及低秩适配器相结合，后者与存活的权重联合训练并量化为 4 位。在 WikiText-2 上，这将困惑度从一次性剪枝后（Wanda 配合闭式重拟合）的稠密模型 3.01 倍降至 1.34 倍，且整个流程在同一笔记本电脑/硬件上运行。
| 学科： | 计算工程、金融与科学（cs.CE）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.14545 [cs.CE] |
| （或本版本的 arXiv:2611.14545v1 [cs.CE]） | |
| https://doi.org/10.48550/arXiv.2611.14545 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tek Raj Awasthi [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 10:46:56 UTC（145 KB）
来源：arXiv cs.AI · arxiv.org