arXiv cs.CL· Michael Tian-Yue Liu, Anne Harrington, Trevor Darrell, Yutong Bai·· 2 天前AI 评分26
评判评判者：Rubrics as Rewards 中的置信度与分歧
Judging the Judges: Confidence and Disagreement in Rubrics as Rewards
AI 导读
研究提出 RaRE（Rubrics as Rewards with Ensembles），一种面向 RaR 训练的评委集成策略，包含用评委 logprobs 加权高置信评委的 soft-Likert 奖励，以及将高分歧 rollout 排除出 GRPO 更新的 drop-on-disagreement 掩码。
正文 · AI 翻译
摘要：Rubrics as Rewards（RaR）通过使用 LLM 评判器根据结构化评分标准对回答打分，将强化学习扩展到不可验证的领域。此前的工作主要聚焦于改进评分标准或强化单一评判器，而相对较少关注在 RaR 训练过程中如何使用不同的单一或多个评判器。我们首先表明，在 RaR-Medicine 和 RaR-Science 上训练 Qwen3-4B-Base 时，仅评判器身份的不同就会在五个前沿及开放权重评判器之间产生显著的分数差异。在此基础上，我们提出 RaRE（Rubrics as Rewards with Ensembles），一种新颖的 RaR 评判器集成策略，包含两种机制：一种软李克特奖励，利用评判器的对数概率对更有信心的评判器赋予更高权重；以及一种分歧即丢弃掩码，将高分歧的 rollout 从 GRPO 更新中排除。我们发现这一设计至关重要：虽然对评判器分数进行朴素平均无法超越最佳单一评判器，但 RaRE 在 HealthBench 和 GPQA Diamond 上均优于所有单一评判器 RaR 变体，逐主题分析表明它继承了其组成评判器的互补优势。我们的发现确立了评判器集成作为改进 RaR 的一个极具吸引力的方向。
| 评论： | 项目页面：此 https URL 代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21179 [cs.LG] |
| （或 arXiv:2610.21179v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21179 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Anne Harrington [查看电子邮件]
[v1]
2026年10月15日星期四 03:35:00 UTC（1,346 KB）
来源：arXiv cs.CL · arxiv.org