研究者提出RL2R:以参考相似度作统一奖励
热点事件持续更新
研究者提出RL2R:以参考相似度作统一奖励
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shuai Zhao等作者提出RL2R,用BERTScore等轻量指标衡量生成结果与已有或蒸馏参考答案的语义相似度,以此作为强化学习奖励,替代推理与对齐任务中分别设计的奖励。 在数学推理上,作者称答案级与步骤级相似度可提供低成本过程监督,效果优于仅验证最终答案;在对齐任务上,无critic的REINFORCE式实现覆盖通用偏好、安全与置信度任务,作者称效果与基于奖励模型(RM)的方法相当。代码已公开。
AI 根据报道生成 · 55 分钟前更新
最新进展11月20日 13:00
RL2R:用基于参考的奖励统一语言模型推理与对齐的强化学习报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIRL2R:用基于参考的奖励统一语言模型推理与对齐的强化学习
研究者提出 RL2R,用 BERTScore 等轻量指标衡量生成结果与已有或蒸馏参考答案的语义相似度作为奖励,统一替代推理与对齐中的奖励设计。在数学推理上,答案级与步骤级相似度可提供低成本过程监督,优于仅验证最终答案;对齐任务上,无 critic 的 REINFORCE 式实现可覆盖通用偏好、安全与置信度任务,效果与基于 RM 的方法相当。代码已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。