arXiv cs.CL· Qitong Wang, Xinwei Niu, Mingluo Su, Shanwei Zhao, Shiai Zhu, Huan Wang·· 9 天前AI 评分27
SparseDecoding：面向解码的剪枝框架，实现精准高效的 LLM 推理
SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
AI 导读
SparseDecoding 是一个面向解码的 LLM 剪枝框架，通过用稠密模型自回归生成（排除 prefill）阶段的逐层激活构建校准矩阵，使剪枝目标与解码激活对齐。该方法在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B 上长文本生成基准中持续优于固定文本校准，并在 A100 GPU 上实现最高 1.48x 端到端解码加速。
正文 · AI 翻译
摘要：大语言模型（LLM）推理的解码阶段受内存限制，会带来显著的延迟。以 Hessian 为指导的逐层免训练网络剪枝方法一直是解决该问题的重要方案，因为剪枝减少了解码期间从内存中读取的非零参数数量。然而，这类方法通常使用预先收集的自然序列来计算 Hessian，而模型在解码时输入的是自生成的 token，从而在两种序列之间产生了分布偏移。在自然序列上计算得到的 Hessian 与在生成序列上计算得到的 Hessian 不同。我们观察到，这种差异导致生成过程中的激活分布偏离用于剪枝的激活分布，进一步损害了剪枝模型的性能。此外，大多数能带来实际加速的现有 LLM 剪枝方法主要针对稀疏矩阵-矩阵（SpMM）乘法，对主导解码过程的稀疏矩阵-向量（SpMV）运算支持有限。为解决这些问题，我们提出了 SparseDecoding，一个面向准确且高效 LLM 解码的原则性解码感知剪枝框架。具体而言，在算法层面，SparseDecoding 从密集模型自回归生成过程中收集的逐层激活（不包括预填充）构建校准矩阵，从而使剪枝目标与解码激活对齐。在系统层面，我们开发了一种优化的 N:M 稀疏矩阵-向量内核，采用位掩码索引和固定步长遍历。在代表性 LLM（Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B / 32B）上的大量实证结果表明，我们的方法在长文本生成基准上持续优于标准的固定文本校准，同时在 A100 GPU 上实现了最高 1.48 倍的端到端实际解码加速。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12327 [cs.LG] |
| （或 arXiv:2610.12327v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12327 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qitong Wang [查看电子邮件]
[v1]
2026年10月8日星期四 17:06:32 UTC（233 KB）
来源：arXiv cs.CL · arxiv.org