arXiv cs.CL· Houcheng Jiang, Mao Zheng, Mingyang Song, Qiyong Zhong, Jie Sun, Tianyu Zhang, Junfeng Fang·· 9 天前AI 评分23
ReCal：面向同策略蒸馏恢复的结构化剪枝校准方法
ReCal: Calibrating Structured Pruning for On-Policy Distillation Recovery
AI 导读
研究者提出 RECAL（Recovery-Aware Calibration），一种即插即用方法，通过在剪枝前调整校准过程来改善结构化剪枝模型的同策略蒸馏（OPD）恢复效果。
正文 · AI 翻译
摘要：结构化剪枝降低了推理语言模型的部署成本，但由此产生的性能退化可能会阻碍后续的在线策略蒸馏（OPD）恢复。由于 OPD 依赖学生模型生成的轨迹，离线蒸馏后仍然存在的剪枝损伤会限制其有效性。我们提出 RECAL（Recovery-Aware Calibration，恢复感知校准），这是一种简单的即插即用方法，通过在剪枝前调整校准来改善 OPD 恢复。RECAL 使用未剪枝教师模型与剪枝探针之间的前向 KL 散度来识别被剪枝破坏的、受教师支持的预测，然后重新加权校准统计量，引导现有剪枝准则保留这些预测。在多个模型和剪枝方法上，RECAL 在 OPD 后持续提升数学推理能力，在 AIME 上最高提升 16.7 个百分点，同时在大多数代码生成对比中也有提升。进一步分析表明，RECAL 减少了受影响严重 token 上的残余损伤，并建立了在恢复过程中持续存在的性能优势。这些结果证明了恢复感知校准对于改善剪枝推理模型在线策略蒸馏恢复的价值。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11332 [cs.CL] |
| （或 arXiv:2610.11332v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11332 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Houcheng Jiang [查看邮箱]
[v1]
2026年10月8日星期四 06:28:38 UTC（309 KB）
来源：arXiv cs.CL · arxiv.org