arXiv cs.CL· Rocktim Jyoti Das, Mukul Ranjan, Mingjie Sun, Liqun Ma, Zhiqiang Shen·· 3 天前AI 评分22
超越规模：梯度如何影响大语言模型的剪枝决策
Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models
AI 导读
研究者提出免训练的剪枝方法 GBLM-Pruner，利用预训练 LLM 的归一化梯度（基于 Taylor 展开一阶项）确定剪枝指标，无需后续重训练或权重更新。在 LLaMA 系列、Qwen 系列和 DeepSeek 模型上，该方法在零样本、STEM 推理和代码基准上显著超越 magnitude pruning 与 Wanda，并与需大量权重更新的 SparseGPT 表现相当。
正文 · AI 翻译
摘要：具有数十亿参数的大型语言模型（LLM）是网络剪枝的主要目标，网络剪枝可在不影响性能的情况下移除部分模型权重。此前的方法如幅度剪枝、SparseGPT 和 Wanda，要么仅关注权重，要么将权重与激活值结合以实现稀疏化。然而，它们忽视了从预训练 LLM 中导出的有信息量的梯度。在本文中，我们提出了一种面向预训练 LLM 的、以稀疏性为核心的新型剪枝方法，称为基于梯度的语言模型剪枝器（GBLM-Pruner）。GBLM-Pruner 利用泰勒展开的一阶项，以无需训练的方式运行，通过从少量校准样本中获取适当归一化的梯度来确定剪枝度量，并在多个基准测试中大幅优于 SparseGPT 和 Wanda 等竞争方法。有趣的是，通过引入梯度，我们的方法进行非结构化剪枝时往往会显现出一些结构化模式，这反映了 LLM 参数结构中固有的几何相互依赖性。此外，GBLM-Pruner 无需任何后续再训练或权重更新即可运行，从而像其他同类方法一样保持简洁性。在 LLaMA 系列、Qwen 系列和 Deepseek 模型上，针对零样本、STEM 推理和编码基准的广泛评估表明，GBLM-Pruner 显著超越幅度剪枝和 Wanda，并且与涉及大量权重更新的 SparseGPT 相比也颇具竞争力。我们进一步将该方法扩展到视觉 Transformer 和视觉语言模型。我们的代码和模型可在 此 https URL 获取。
| 评论： | 代码和模型见 此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2311.04902 [cs.CL] |
| （或 arXiv:2311.04902v3 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2311.04902 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Zhiqiang Shen [查看邮箱]
[v1]
2023年11月8日星期三 18:59:54 UTC（4,751 KB）
[v2]
2024年4月8日星期一 22:42:49 UTC（3,949 KB）
[v3]
2026年10月14日星期三 08:28:09 UTC（2,567 KB）
来源：arXiv cs.CL · arxiv.org