arXiv cs.AI· Mohammad Mozaffari, Samuel Kushnir, Maryam Mehri Dehnavi, Amir Yazdanbakhsh·· 11 小时前AI 评分29
OPTIMA：基于二次规划重建的 LLM 一次性剪枝方法
OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
AI 导读
OPTIMA 是一种一次性训练后剪枝方法，将掩码选择后的逐层权重重建设为共享同一 Hessian 的列级二次规划问题，可在单个加速器上并行求解且无需微调。
正文 · AI 翻译
摘要：训练后剪枝降低了大语言模型的推理成本，但它面临一个权衡：将权重置零的简单启发式方法速度快，但会降低准确率；而有原则的联合优化方法能恢复准确率，但在现代规模下计算上不可行。SparseGPT 等一次性方法介于两者之间，应用高效但近似的权重更新。为弥合这一差距，我们提出 OPTIMA，一种实用的一次性训练后剪枝方法，兼顾准确率与可扩展性。OPTIMA 将掩码选择后的逐层权重重建转化为独立的、按列的二次规划（QP），每个权重矩阵共享一个 Hessian。在求解器收敛时，求解这些 QP 可得到共享 Hessian 下逐层重建目标的逐列极小值点，而共享 Hessian 使这些 QP 易于在加速器上批处理。我们实现了一个对加速器友好的 QP 求解器，它为每个权重矩阵累积一个 Hessian，并行求解许多小型 QP，并为每一列提供收敛证明，从而无需微调即可在单个加速器上大规模进行一次性训练后剪枝。OPTIMA 可与现有掩码选择器集成，在 LLaMA 和 Gemma 系列的 49 个（模型、掩码选择器、稀疏度）设置中有 40 个提升了平均零样本准确率，在 50% 非结构化、2:4 和 60% 非结构化稀疏度下平均增益分别为 +0.61、+0.56 和 +1.01 分，在 60% 稀疏度下最高提升 +3.97 分，同时在其自身掩码上达到与基于 ADMM 的精确重建相当的效果。在 NVIDIA H100 上，OPTIMA 端到端剪枝一个 8B 参数 transformer 耗时 40 小时，峰值 GPU 内存为 60 GB。这表明，有原则的按列 QP 重建是一次性训练后剪枝中启发式权重更新的实用替代方案。
| 评论： | 已被 ACML 2026（PMLR 353）接收。32 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；性能（cs.PF） |
| 引用为： | arXiv:2512.13886 [cs.LG] |
| （或本版本的 arXiv:2512.13886v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2512.13886 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammad Mozaffari [查看邮箱]
[v1]
2025 年 12 月 15 日星期一 20:41:29 UTC（306 KB）
[v2]
2025 年 12 月 31 日星期三 02:49:31 UTC（304 KB）
[v3]
2026 年 10 月 20 日星期二 03:20:26 UTC（291 KB）
来源：arXiv cs.AI · arxiv.org