arXiv cs.AI· Guangyu Liu, Siyuan Gan, Shilong Zhou, Linjian Meng, Boyan Wang, Jing Huo·· 11 小时前AI 评分22
Adaptive Pullback：在策略蒸馏中于惩罚跃变处重新加权监督
Adaptive Pullback: Reweighting Supervision at Penalty Jumps in On-Policy Distillation
AI 导读
针对在策略蒸馏（OPD）中正 log-ratio 惩罚无法区分持续高惩罚与突增的问题，研究者提出 AP-OPD，在检测到惩罚跃变时以前一 token 块为局部参考，统一缩放后续块的监督系数，使加权平均惩罚与前一块的原始均值对齐，无需额外强度常数。该方法在数学推理与代码生成任务上均取得性能提升。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）利用采样的学生-教师 token 对数比来监督学生生成的回答。正的对数比会惩罚学生赋予概率高于教师的 token，但其当前值无法区分持续的高惩罚与回答中突然出现的惩罚上升。我们通过比较同一回答内相邻的 token 块来考察这些局部变化。我们的诊断方法识别出惩罚跃升，即平均惩罚的突然上升，且这种上升在留出 token 上持续存在。在这些跃升处，惩罚上升而教师置信度下降。我们将这一模式称为惩罚-置信度张力。进入高惩罚块的边界并未表现出可比的置信度变化，表明局部变化提供了超出当前惩罚值的信息。受此观察启发，我们提出自适应回拉 OPD（AP-OPD）。在每个检测到的跃升处，AP-OPD 以前一个块作为局部参考，并统一缩放后续块中的所有监督系数，使其加权平均惩罚与前一个块的原始均值相匹配。该参考无需额外的强度常数即可确定缩放因子。AP-OPD 在数学推理和代码生成任务上均提升了性能。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28194 [cs.LG] |
| （或 arXiv:2610.28194v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28194 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyuan Gan [查看邮箱]
[v1]
2026年10月20日星期二 13:34:43 UTC（194 KB）
来源：arXiv cs.AI · arxiv.org