深度剪枝小模型：函数调用与数学推理先崩

Piyush Dhoka 等作者发布研究，对 Llama-3.2-1B、Qwen2.5-1.5B、SmolLM2-1.7B 和 OLMo-2-1B 四款 1.2–1.7B 指令微调模型做深度剪枝（整块移除 Transformer 层）并配合 healing 微调，发现剪枝造成的损伤并不均匀：函数调用和数学推理在四款模型中全部崩塌，保留率仅 0.00–0.07。 研究还发现，各模型能力失效的先后顺序高度一致（Kendall's W = 0.92）。作者称，剪枝后一段简短的 healing 微调决定了哪些能力能够恢复。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。