arXiv cs.CL· Mingyang Song, Mao Zheng·· 10 小时前AI 评分31
重新审视 LLM 剪枝：从测试时扩展视角评估剪枝模型
Rethinking LLM Pruning via Test-Time Scaling
AI 导读
研究通过匹配采样预算下的 pass@k 对比原始与剪枝模型，发现部分模型在 expert、FFN 和 layer 剪枝后虽 pass@1 下降，推理覆盖范围仍可持平甚至超过原模型，并能解出原模型未解的问题。但严重剪枝下正确解更难采样，重复增多、生成可靠性下降，总 token 消耗可能大幅上升。因此剪枝应同时以可解问题范围和获取正确解的采样成本两项指标评估。
正文 · AI 翻译
摘要：结构化剪枝可减小大语言模型的规模，但往往以降低准确率为代价。这种下降究竟反映推理能力减弱，还是采样到正确解变得更困难，尚不明确。我们在四个数学与编程基准上，针对专家、FFN 和层剪枝考察了这一问题，在相同采样预算下通过 pass@k 比较原始模型与剪枝模型。即使经过大幅剪枝，一些模型尽管 pass@1 较低，其推理覆盖范围仍能匹配或超过原始模型，并能解决原始采样中未解决的问题。然而，保持广泛的覆盖范围并不意味着正确解仍然容易获得。在严重剪枝下，多样化的生成思维链（CoT）轨迹可能与重复增多和生成可靠性下降并存。随着正确答案变得更难采样，即使单个回答变短，额外的尝试也可能使总 token 用量急剧增加。这种覆盖范围与采样效率之间的分离也澄清了专家选择的收益：pass@1 差异显著的方法在大预算下能解决相同的问题，但达到共同覆盖目标所需的尝试次数不同。因此，评估剪枝应同时考虑模型仍能解决的问题范围以及获得正确解的采样成本。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01133 [cs.CL] |
| （或 arXiv:2611.01133v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.01133 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mingyang Song [查看邮箱]
[v1]
2026年10月31日 星期六 17:22:59 UTC（1,210 KB）
来源：arXiv cs.CL · arxiv.org