arXiv cs.AI· Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu·· 2 天前AI 评分22
重新思考高稀疏度 LLM 剪枝的校准：从单一数据源到能力覆盖
Rethinking Calibration for High-Sparsity LLM Pruning: From Single Sources to Capability Coverage
AI 导读
研究提出将 LLM 剪枝校准视为"能力覆盖"问题：在 60% 稀疏度下，平均常识准确率仅差 2.85 分的策略在代码保留率上相差 51.9 分，且 15 个数据源中无一能保留全部能力。
正文 · AI 翻译
摘要：训练后 LLM 剪枝依赖一个小型校准集，通常以启发式方式选择，并以 WikiText 困惑度或通用领域常识基准上的平均准确率来评判。这种单轴视角掩盖了能力特定的效应：在 60\% 稀疏度下，平均常识准确率相差 $2.85$ 个百分点的策略在代码保留率上相差 $51.9$ 个百分点，而在 15 个来源中没有任何单一来源能保留所有能力。我们将校准视为一个能力覆盖问题。Balanced 是在固定预算下的均匀四路混合，在真实语料上检验了这一原则：它优于所有被评估的单一来源，且其相对 C4 的优势从 30\% 稀疏度下的 $+4.6$ 个百分点增长到 60\% 下的 $+18.8$ 个百分点。这一优势在不同模型规模和第二个模型家族中均成立，并可迁移到与校准构建不相交的留出基准上。当对齐语料不可用时，IGSP 仅从基础模型和评估分类体系近似该混合，在 LLaMA 主套件上比先前的自生成方法高出 $7.23$--$12.79$ 个百分点。在 Qwen2.5-7B 上，IGSP 在主套件和留出基准上均超过 Balanced。能力覆盖是高稀疏度剪枝的一阶设计变量。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.03328 [cs.LG] |
| （或 arXiv:2606.03328v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.03328 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hu Xu [查看电子邮件]
[v1]
2026年6月2日星期二 08:38:14 UTC（363 KB）
[v2]
2026年6月8日星期一 13:05:20 UTC（417 KB）
[v3]
2026年7月30日星期四 06:41:18 UTC（333 KB）
[v4]
2026年10月15日星期四 07:19:20 UTC（4,163 KB）
来源：arXiv cs.AI · arxiv.org