跳到正文
arXiv cs.AI· Shuai Zhao, Yunqiu Xu, Linchao Zhu, Ling Chen, Yi Yang·· 10 小时前AI 评分34

RL2R:用基于参考的奖励统一语言模型推理与对齐的强化学习

Reinforcement Learning with Reference-Based Rewards for Language Model Reasoning and Alignment

AI 导读

研究者提出 RL2R,用 BERTScore 等轻量指标衡量生成结果与已有或蒸馏参考答案的语义相似度作为奖励,统一替代推理与对齐中的奖励设计。在数学推理上,答案级与步骤级相似度可提供低成本过程监督,优于仅验证最终答案;对齐任务上,无 critic 的 REINFORCE 式实现可覆盖通用偏好、安全与置信度任务,效果与基于 RM 的方法相当。代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:强化学习(RL)驱动了大语言模型(LLM)后训练的两条主要路线:推理,即引出深思熟虑、可验证的问题求解;对齐,即引导模型表现出有帮助、无害且诚实的行为。两者都取决于奖励设计。推理依赖对最终答案的基于规则的验证,其二元反馈对中间推导过程不敏感;而过程奖励模型(PRM)需要步级标注,成本过高难以扩展。对齐依赖在二元偏好对上训练的奖励模型(RM),使数据收集和模型训练都资源密集。我们提出 RL2R,即基于参考的奖励强化学习,作为一种统一且廉价的替代方案。RL2R 使用预先存在或蒸馏得到的参考,通过 BERTScore 等轻量指标衡量采样生成与参考答案或解答之间的语义相似度。相似度保留了二元反馈所丢弃的序数质量信号:越接近参考的回复获得越高奖励,即使最终结论错误,合理的推导也能获得认可。对于数学推理,用答案级和步骤级相似度增强基于规则的验证,可提供低成本的过程监督,并优于仅答案验证。对于对齐,一种无评论家的 REINFORCE 风格实例化在通用偏好、安全性和置信度任务上可与基于 RM 的方法相当。因此,基于参考的奖励提供了一种经济高效、多用途的奖励来源,涵盖推理和对齐。
评论: 代码位于此 https URL。与上一版本相比,此版本增加了带有基于参考的奖励的推理部分
主题: 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2504.09895 [cs.CL]
  (或此版本的 arXiv:2504.09895v4 [cs.CL])
  https://doi.org/10.48550/arXiv.2504.09895

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shuai Zhao [查看邮箱]
[v1] 2025年4月14日星期一 05:43:21 UTC(414 KB)
[v2] 2025年6月22日星期日 13:02:25 UTC(337 KB)
[v3] 2025年10月13日星期一 05:00:17 UTC(466 KB)
[v4] 2026年11月18日星期三 11:06:19 UTC(2,156 KB)

来源:arXiv cs.AI · arxiv.org