arXiv cs.CL· Piyush Dhoka, Vedant Pandhare, Varun Inamdar, Aadarsh Pathre, Pavitha Nooji·· 10 小时前AI 评分34
深度剪枝小语言模型的能力损伤与恢复：哪些能力先崩、微调能救回什么
What Breaks and What Comes Back: Capability Damage and Recovery in Depth-Pruned Small Language Models
AI 导读
研究对 Llama-3.2-1B、Qwen2.5-1.5B、SmolLM2-1.7B 和 OLMo-2-1B 四款 1.2-1.7B 指令微调模型做深度剪枝与 healing 微调，发现函数调用和数学推理在所有模型中崩塌，保留率仅 0.00-0.07，且能力失效顺序高度一致（Kendall's W = 0.92）。
正文 · AI 翻译
摘要：深度剪枝会移除整个 Transformer 块，使语言模型更小、更快，但损害在模型各项能力上的分布并不均匀，而一次简短的微调（称为 healing）决定了哪些能力能够恢复。我们针对用作智能体的小型模型测量了这一点。四个参数量为 1.2-1.7B 的指令微调模型（Llama-3.2-1B、Qwen2.5-1.5B、SmolLM2-1.7B 和 OLMo-2-1B）经过剪枝和 healing，并追踪六项能力：结构化输出、函数调用、指令遵循、数学推理、安全拒绝和知识。三项结果在各模型家族中一致成立。第一，函数调用和数学能力在每个模型中都会崩溃（保留率为未剪枝得分的 0.00-0.07），且四项能力的崩溃顺序在四个模型间高度一致（Kendall's W = 0.92；校正偶然下限后为 0.62）。第二，训练哪些参数与使用哪些数据同样重要：在三个模型家族中，完全微调最后三个块而非向所有块添加低秩适配器，会使上限平均保留率最多损失 0.18，且每个范围一次 300k token 的试点即可检测到这一点。第三，我们测试了一个规划器，它根据 21 次短试点 healing 来分配 1M token 的 healing 预算。在固定预算下，它在两个模型家族上提升了最弱能力，尽管这些增益中只有一个在同时重采样训练种子的检验中得以保留。一旦计入其 3.48M 试点 token，使用相同总训练 token 数的均匀 healing 在每个模型家族上都达到或超过所有规划变体，并在其中三个家族的逐项检验中显著更好地保留了数学能力（在同时重采样种子时为一个）。更长时间的 healing 是一个强大而简单的基线，规划式恢复必须超越它。代码、逐项预测和所有结果均已公开。
| 评论： | 17 页，6 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.00877 [cs.CL] |
| （或 arXiv:2611.00877v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00877 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vedant Pandhare [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 12:25:46 UTC（122 KB）
来源：arXiv cs.CL · arxiv.org