arXiv cs.CL· Minglai Yang, Xinyu Guo, Zhengliang Shi, Utkarsh Tyagi, Mian Zhang, Razvan Dumitru, Sunjie Hou, Yunzhong He, Daniel Yue Zhang, Ying Liu, Dan Roth·· 3 天前AI 评分32
Rubric Dropout：用随机丢弃评分标准缓解 rubric-as-reward RL 中的奖励黑客
Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL
AI 导读
针对基于 rubric 的强化学习中策略逐渐钻训练评分器空子的问题，研究者提出 Rubric Dropout：每步训练从奖励中随机移除部分 rubric 标准，同一 prompt 的所有回答用同一子集打分以保持可比，评估时仍用完整 rubric。
正文 · AI 翻译
作者：Minglai Yang、Xinyu Guo、Zhengliang Shi、Utkarsh Tyagi、Mian Zhang、Razvan Dumitru、Sunjie Hou、Yunzhong He、Daniel Yue Zhang、Ying Liu、Dan Roth
摘要：基于评分标准的强化学习，即由 LLM 评判器根据提示词特定的标准对回答打分，已成为在无可靠答案的任务上对语言模型进行后训练的标准方法。然而，评分标准只是回答质量的代理指标，策略若长期针对它训练，就会学会利用二者之间的差异。我们在医学和科学评分标准上用 GRPO 训练模型，并在整个训练过程中用两个评判器在分布外（OOD）基准上对其回答打分：训练评判器和更强的 OOD 评判器。两个分数先是一起上升，随后出现分化。策略正在学会在不写出更好回答的情况下满足训练评判器，这是一种奖励黑客行为。为缓解这一问题，我们提出 Rubric Dropout，即对评分标准条目施加 dropout：在每个训练步骤中，从奖励中随机移除每条评分标准的一部分条目，因此被奖励的条目子集在每一步都会重新采样。同一提示词下采样的所有回答都在同一子集上评分，因此它们的奖励仍具可比性，而评估始终使用完整评分标准。我们还引入 Block Dropout，它将被移除的语义相似条目一并移除，使被移除条目的近似重复项无法继续奖励相同行为。在两个基准以及从 1.7B 到 8B 的模型上，dropout 将金标准评判器在 OOD 基准上的分数最多提升 3%（HealthBench-Hard）和 7%（ResearchQA），并缩小了两个评判器之间的差距以及过度给分。它使域内奖励与基线保持接近，且 30-50% 的 dropout 率效果最佳。在相同 dropout 率下，Block Dropout 进一步提升了金标准评判器的 OOD 分数。改变每一步被奖励的条目，是一种简单、低成本地让评分标准奖励更难被利用的方法。
| Comments： | 24 页，14 张图，5 张表 |
| Subjects： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.11669 [cs.LG] |
| （或使用 arXiv:2608.11669v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.11669 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minglai Yang [查看邮箱]
[v1]
2026年8月12日星期三 05:29:21 UTC（1,189 KB）
[v2]
2026年10月13日星期二 19:52:28 UTC（1,324 KB）
来源：arXiv cs.CL · arxiv.org