arXiv cs.AI· Jean Lucien Randrianantenaina, Hung Nguyen, Nasib Ullah, Jinbin Zhang, Nilesh Gupta, Inderjit S. Dhillon, Rohit Babbar·· 1 天前AI 评分29
ETAPS：渐进剪枝与稀疏适配实现大语言模型极端稀疏化高效剪枝
Prune Gradually, Adapt Sparsely: Efficient Pruning of Large Language Models at Extreme Sparsity
AI 导读
研究者提出 ETAPS 剪枝方法，通过分阶段收紧全局稀疏约束并训练小固定预算的稀疏 delta，在 125M 至 13B 参数的六个模型上，50% 至 90% 稀疏度下困惑度均低于 ELSA，最高降低 42%。在 90% 稀疏度下，ETAPS 仅用单张 H200 即可剪枝 LLaMA2-7B（ELSA 需四张），持久状态缩小 5.0 倍，GPU 小时数减少 49%。
正文 · AI 翻译
摘要：权重剪枝可以降低大语言模型（LLM）的存储和推理成本，但在高稀疏度下保持质量仍然具有挑战性。现有方法在这一区间面临质量与成本的权衡。一次性剪枝成本低廉，但随着稀疏度提高质量急剧下降，即使随后进行剪枝后恢复也是如此。越来越多的研究转而从稠密模型出发，在端到端目标下直接优化掩码；在这些方法中，[Lee et al.,2026] 是极端稀疏度下最新的最先进方法，能达到高质量，但代价是需要与模型规模相当的优化器状态和辅助变量。为弥补这一差距，我们提出 ETAPS，它逐步剪枝并稀疏地自适应：它在渐进阶段收紧全局稀疏约束，同时以小型固定预算训练稀疏增量。我们的关键观察是，逐步移除权重使每个剪枝步骤足够小，以便稀疏自适应能够补偿，从而使自适应后的模型能够提供端到端梯度来指导下一次剪枝决策，而无需与模型规模相当的优化器状态。在从 125M 到 13B 参数的六个模型上，ETAPS 在 50% 到 90% 的每个评估稀疏度下都取得了比 ELSA 更低的困惑度，困惑度降低幅度最高达 42%。ETAPS 的成本也低得多：在 90% 稀疏度下，它在单块 H200 上剪枝 LLaMA2-7B，而 ELSA 使用四块，总持久状态小 $5.0\times$，GPU 小时数少 49%。总之，我们的发现指向一个有前景的方向：以显著更低的成本在极端稀疏度等严苛区间实现高质量。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41968 [cs.AI] |
| （或 arXiv:2610.41968v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41968 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jean Lucien Randrianantenaina [查看电子邮件]
[v1]
2026年10月30日星期五 16:17:43 UTC（74 KB）
来源：arXiv cs.AI · arxiv.org