arXiv cs.AI· Khouloud Saadi, Di Wang·· 13 小时前AI 评分23
有效性校准的推理蒸馏：用局部有效性动态调节蒸馏信号
Validity-Calibrated Reasoning Distillation
AI 导读
研究者提出“有效性校准的推理蒸馏”框架，不再强制学生模型逐 token 模仿教师轨迹，而是在相同前缀下比较学生与教师提出的下一步动作，用两者的相对局部有效性调节蒸馏更新强度。该方法在数学、代码和指令遵循基准上优于强蒸馏基线。结果表明，有效的 LLM 推理蒸馏取决于学习信号的局部校准分配，而非僵化的轨迹模仿。
正文 · AI 翻译
摘要：推理蒸馏旨在将大型语言模型的多步推理能力迁移到更小、更高效的模型上。尽管近期方法已显示出可观的收益，但它们通常依赖静态的师生层级结构，并将蒸馏视为轨迹模仿。这与推理的结构并不一致：推理的中间步骤在局部上是欠指定的——全局正确性约束最终答案，但并不能唯一确定每一个中间步骤。我们提出有效性校准的推理蒸馏，这一框架将推理蒸馏视为局部学习信号分配问题，而非路径对齐问题。我们不强制进行 token 级模仿，而是在相同前缀下比较学生模型与教师模型提出的下一步动作，并利用它们相对的局部有效性来调节蒸馏更新的强度。这产生了一种动态的、依赖上下文的监督，在保留教师结构引导的同时，使更新强度适应当地推理质量。在数学、代码和指令遵循基准上，我们的方法优于强蒸馏基线。这些结果表明，有效的 LLM 推理蒸馏并非由僵化的轨迹模仿主导，而是由局部校准的学习信号分配所主导。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.04078 [cs.LG] |
| （或 arXiv:2605.04078v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.04078 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Khouloud Saadi [查看电子邮件]
[v1]
2026年4月14日星期二 12:32:12 UTC（8,139 KB）
[v2]
2026年5月9日星期六 13:58:28 UTC（9,341 KB）
[v3]
2026年10月29日星期四 08:28:26 UTC（8,133 KB）
来源：arXiv cs.AI · arxiv.org