arXiv cs.AI· Sumeet Ramesh Motwani, Tejas Krishnan, Alistair Letcher, Charles London, Suhaas Bhat, Huitian Jiao, Philip Torr, Riashat Islam, Christopher Summerfield, Jakob Foerster, Christian Schroeder de Witt, Qilong Gu, Shital Shah·· 10 小时前AI 评分42
Rubric Curriculum RL：利用生成-验证差距提升非可验证领域强化学习
Rubric Curriculum RL: Exploiting the Generation-Verification Gap in Non-Verifiable Domains
AI 导读
研究者提出 Rubric Curriculum RL（RcRL），无需新数据、人工标注或更强教师模型，通过成对偏好比较与评分标准课程相结合，在开放式领域获得更具判别力的非平稳训练信号。
正文 · AI 翻译
作者：Sumeet Ramesh Motwani、Tejas Krishnan、Alistair Letcher、Charles London、Suhaas Bhat、Huitian Jiao、Philip Torr、Riashat Islam、Christopher Summerfield、Jakob Foerster、Christian Schroeder de Witt、Qilong Gu、Shital Shah
摘要：基于可验证奖励的强化学习（RLVR）已在数学和代码生成方面取得显著提升。将这些收益扩展到开放式领域仍然具有挑战性：无法获得真实答案验证，人工标注成本高昂，且学习得到的奖励模型容易遭受奖励黑客攻击。生成-验证差距——即评判优质输出比生成它们更容易——提供了一条潜在的改进路径。然而，基于评分标准的评判器往往不够精确且是静态的，因此策略可能对其过拟合或进行奖励黑客攻击。我们提出评分标准课程强化学习（RcRL），它无需新数据、人工标注或更强的教师模型即可利用这一差距。我们将对 rollout 的成对偏好与评分标准准则上的课程相结合，从而产生比绝对评分更具判别力的信号以及非静态的目标。基线方法在几百步内即趋于平台期，而 RcRL 保持输出熵并在超过 1000 步后仍持续改进。在创意写作上，RcRL 相对基础模型取得 70.5% 的人类胜率，并在各项基准和评判器上均有提升。在 HealthBench 上，RcRL 相对基础模型提升 14.6%（完整集）和 25.4%（共识子集），优于所有训练基线，包括实例特定评分标准。
| 评论： | 已被 ICML 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06244 [cs.LG] |
| （或 arXiv:2611.06244v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sumeet Motwani [查看邮箱]
[v1]
2026年11月4日星期三 09:51:06 UTC（472 KB）
来源：arXiv cs.AI · arxiv.org