arXiv cs.CL· Jongwoo Ko, Sara Abdali, Young Jin Kim, Tianyi Chen, Pashmina Cameron·· 12 小时前AI 评分38
REOPOLD：用松弛式在线策略蒸馏高效扩展推理能力
Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
AI 导读
研究者提出 REOPOLD（Relaxed On-Policy Distillation）框架，通过控制教师反馈的应用位置、强度和分配规则变化时机，缓解采样 token 在线策略蒸馏中的熵坍缩与负迁移问题。在多种推理任务上，该方法相比近期后训练基线最高提升 12 倍样本效率，并可扩展至跨词表蒸馏、自蒸馏与测试时扩展。
正文 · AI 翻译
摘要：在线策略蒸馏（OPD）是将推理能力迁移到容量受限模型的一种有前景的方法，但基于采样 token 的 OPD 常常遭遇熵坍缩和负迁移。我们将统一的信用分配确定为关键瓶颈：现有目标函数在学生生成的轨迹上获得密集的教师反馈，但在 token 级信号高度异质的情况下，仍将其统一应用于所有采样 token。大多数 token 携带冗余的接近零的信用，而罕见的重尾负信用可能主导更新，并过早抑制合理的推理轨迹。我们提出 REOPOLD（松弛在线策略蒸馏），这是一个通过控制教师反馈应用的位置、其对更新的影响强度以及训练期间分配规则何时变化来松弛这种统一分配的框架。在多种推理任务上，REOPOLD 相比近期后训练基线改进了采样 token OPD，样本效率最高提升 12 倍，并可扩展到跨词表蒸馏、自蒸馏和测试时扩展。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.11137 [cs.LG] |
| （或此版本的 arXiv:2603.11137v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2603.11137 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jongwoo Ko [查看邮箱]
[v1]
2026年3月11日星期三 16:26:52 UTC（1,228 KB）
[v2]
2026年10月27日星期二 17:53:10 UTC（1,042 KB）
来源：arXiv cs.CL · arxiv.org