arXiv cs.AI· Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, Avinash Balakrishnan, Rameswar Panda, Polina Golland, Yoon Kim, Zhang-Wei Hong·· 3 天前AI 评分41
自我蒸馏能提升推理能力吗？SDPO 与 OPSD 在 Qwen3 和 OLMo-3 上的复现研究
Does self-distillation improve reasoning?
AI 导读
研究复现了 SDPO 和 OPSD 两种自我蒸馏方法，发现在代码、科学、工具使用和数学推理任务上，其报告的收益无法稳定泛化到未见问题，主要源于过拟合或迁移已有推理行为，而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱，在 Qwen3（1.7B-14B）和 OLMo-3-7B 上的实验表明，有效利用特权信息提升推理仍是未解难题。
正文 · AI 翻译
摘要：自蒸馏是一种新兴方法，它训练模型在以特权信息（如正确答案或环境反馈）为条件时模仿自身的预测。近期方法报告了比强化学习（RL）更好的样本效率和泛化能力，但这些收益是否能超出分布内评估，以及是否源于特权蒸馏，仍不清楚。在本文中，我们重新审视了两种代表性方法——自蒸馏策略优化（SDPO）和同策略自蒸馏（OPSD），涵盖代码、科学、工具使用和数学推理任务。我们发现，它们所报告的收益并不能一致地泛化到未见问题上，并且在很大程度上可由过拟合或迁移已有推理行为来解释，而非有效利用特权信息。此外，自蒸馏梯度与直接优化期望奖励的策略梯度之间对齐较弱，这令人质疑它们是否为策略改进提供了有效方向。我们在 Qwen3 模型（1.7B-14B）和 OLMo-3-7B 上的实验表明，有效利用特权信息来改进推理仍是一个未解决的挑战。我们的代码可在 此 https URL 获取
| 评论： | 33 页，11 幅图，24 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18613 [cs.LG] |
| （或 arXiv:2610.18613v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18613 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jason Adhinarta [查看电子邮件]
[v1]
2026年10月13日星期二 15:59:36 UTC（1,700 KB）
来源：arXiv cs.AI · arxiv.org