arXiv cs.AI· Zhepei Hong, Yukai Wang, Mao Zheng, Mingyang Song, Gengsheng Li, Houcheng Jiang, Dan Zhang, Haiyun Guo, Junfeng Fang, Tat-Seng Chua·· 10 小时前AI 评分36
基于评分标准的黑盒在线策略蒸馏 ROPD：用文本反馈替代教师 logits
Rethinking Black-Box On-Policy Distillation: A Rubric-based Analysis
AI 导读
研究提出 ROPD，通过对比教师回答与学生当前 rollout 生成评分标准（rubric），为黑盒在线策略蒸馏提供纯文本反馈接口。在四个竞赛数学基准上，纯文本 ROPD 优于基于 logits 的 OPD，以 9.6 倍更少的训练样本达到标准 logit-based OPD 的最佳 AIME24 准确率。
正文 · AI 翻译
摘要：同策略蒸馏（OPD）是 LLM 后训练的一种强大范式，但其对教师 logits 的依赖使其仅限于白盒教师。本文研究基于评分标准的监督能否为黑盒 OPD 提供纯文本反馈接口，以及其有效性来自何处。我们的实例——基于评分标准的同策略蒸馏（ROPD）——通过对比教师回答与学生当前 rollout 来生成评分标准，并用其为这些 rollout 打分以进行同策略优化。我们发现，在匹配设置下，纯文本 ROPD 在四个竞赛数学基准上优于基于 logit 的 OPD 方法，以少 9.6 倍的训练样本达到标准基于 logit 的 OPD 的最佳 AIME24 准确率。我们的分析得出三项发现：评分标准奖励对正确性的追踪远优于教师对数似然（AUC 0.90 对 0.35）；用其训练能修复更多未达标项，且回退的已达标项更少，优于基于 logit 的监督；将教师回答与学生 rollout 进行对比是评分标准质量的关键。这些结果使基于评分标准的 OPD 成为基于 logit 的 OPD 的一种灵活、兼容黑盒的替代方案。我们的实现见 此 https URL。
| 评论： | 预印本。代码见 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.07396 [cs.LG] |
| （或 arXiv:2605.07396v2 [cs.LG] 对应本版本） | |
| https://doi.org/10.48550/arXiv.2605.07396 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Zhepei Hong [查看邮箱]
[v1]
2026年5月8日星期五 07:52:15 UTC（4,254 KB）
[v2]
2026年11月10日星期二 03:40:16 UTC（872 KB）
来源：arXiv cs.AI · arxiv.org