arXiv cs.CL· Rudransh Agnihotri, Manasvi Kapoor·· 10 小时前AI 评分41
校准决策奖励:用“知道自己有多确定”的评判器训练语言模型
Calibrated Decision Rewards: Training Language Models with a Judge That Knows How Sure It Is
AI 导读
研究提出 RLCDR(Reinforcement Learning from Calibrated Decision Rewards),将 LLM 转为决策模型,以一次前向传播输出概率分布并做选项顺序去偏和约百条标签校准。
正文 · AI 翻译
摘要:强化学习(RL)只能教会语言模型其奖励所能识别的内容。答案检查器精确但需要参考答案;学习到的奖励模型和 LLM 评判器随处可用,但其分数并非概率。我们研究 RLCDR(基于校准决策奖励的强化学习)。将 LLM 转换为决策模型后,它对关于回答的类型化问题(“最终答案是否正确?”“哪一步是第一个错误?”)给出概率分布,在一次前向传播中读取,对选项顺序去偏,并用约一百个标签进行校准。在 MATH 上使用 GRPO 训练 Qwen3-1.7B,这种无参考奖励将 MATH500 准确率从 72.2% 提升至 76.8%(+4.65 分,p < 1e-4),与在答案键上训练(76.9%)相当,而随机奖励仅提升 +0.65。增益随难度增加,在最难级别上从 44.8% 提升至 51.7%。在策略自身不断变化的样本上,奖励保持校准:其期望校准误差是相同 27B 骨干上 softmax 评判器的一半(0.074 对 0.141),且未表现出奖励黑客的迹象。无需步骤训练,同一模型在寻找第一个错误步骤上优于专用的 7B 过程奖励模型(ProcessBench F1 0.772 对 0.722,20/20 划分)。我们还描绘了该方法何时不再足够:仅在基础模型大多失败的问题上训练时,无参考奖励仍能改进策略(+1.9 MATH500 分,p = 0.03),但落后于答案键,因为其概率在该分布上变得过度自信。我们预先陈述六个假设,并用旨在证伪每个假设的对照实验逐一检验。
| 评论: | 24 页,12 幅图,13 张表 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| ACM 分类: | I.2.6;I.2.7 |
| 引用为: | arXiv:2611.25135 [cs.AI] |
| (或 arXiv:2611.25135v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.25135 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Rudransh Agnihotri [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 20:15:18 UTC(113 KB)
来源:arXiv cs.CL · arxiv.org