arXiv cs.CL· Kunwang Zheng, Xinyu Sun, Yu Cao, Shuocheng Li, Lei Cheng, Ying Liu, Qilong Zhang, Jinlong Chen, Hua Yang, Qianglong Chen·· 3 天前AI 评分24
RELAY：面向评分标准强化学习的自适应交接选择性自蒸馏
RELAY: Selective Self-Distillation with Adaptive Hand-off for Rubric-Based Reinforcement Learning
AI 导读
RELAY 提出一种选择性自蒸馏与自适应交接方法，用于基于评分标准的强化学习：Stage 1 用冻结教师模型提供 token 级监督并结合 GRPO，由平台期检测器在蒸馏收益停滞时移除教师，Stage 2 仅用 GRPO 继续训练。
正文 · AI 翻译
摘要：基于评分标准的强化学习会根据许多书面标准对回答进行评分，但会将其压缩为单一奖励，这丢弃了评分标准所携带的细节，并且当一组的回答得分相同时，无法为 GRPO 提供奖励梯度。一个冻结的教师模型将评分标准作为特权上下文来读取，从而提供 token 级监督，但我们观察到其相对 GRPO 的增益出现早期平台期。RELAY 利用优势和奖励来选择正优势以及低分零优势的 rollout，并监控蒸馏损失以决定何时让教师模型退役。第 1 阶段将来自冻结教师模型的选择性蒸馏与 GRPO 结合；随后平台期检测器移除教师模型，第 2 阶段仅继续使用 GRPO。该平台期检测器在一个模型-领域组合上校准，并在另外三个组合中原样复用，其在第 122 到 171 步之间触发。在所有四种设置中，RELAY 在域内得分均为所比较方法中最高，在 RaR-Medicine 上使用 Qwen3-1.7B 时领先 GRPO 4.62 分，使用 Qwen3-4B 时领先 6.02 分。在 Qwen3-1.7B/Medicine 上，从共享检查点移除教师模型优于保留、削弱或刷新教师模型。在匹配平均系数的情况下，蒸馏覆盖约一半回答 token 的选定 rollout 也优于蒸馏所有 rollout。
| Comments: | 17 页，8 幅图，13 张表 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.17623 [cs.LG] |
| （或使用 arXiv:2610.17623v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.17623 arXiv 颁发的 DOI，经由 DataCite |
Submission history
来自：Kunwang Zheng [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 02:45:54 UTC（1,718 KB）
[v2]
2026 年 10 月 14 日星期三 05:22:37 UTC（1,718 KB）
来源：arXiv cs.CL · arxiv.org