研究者提出AP-OPD改进在线策略蒸馏

Guangyu Liu等作者提出自适应回拉在线策略蒸馏方法（AP-OPD），针对在策略蒸馏中正log-ratio惩罚无法区分持续高惩罚与突增的问题，在检测到惩罚跃变时以前一token块为局部参考，统一缩放后续块的监督系数，使加权平均惩罚与前一块的原始均值对齐，无需额外强度常数。 据该研究，该方法在数学推理与代码生成任务上均取得性能提升。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。