多奖励RLIF框架提出,缓解奖励失衡与坍缩
热点事件持续更新
多奖励RLIF框架提出,缓解奖励失衡与坍缩
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Shourov Joarder等作者提出一种多奖励RLIF训练框架,把训练信号拆成两部分:基于聚类投票的答案级奖励,以及基于token级自确定度的补全级奖励,并用GDPO归一化缓解奖励尺度失衡。 该框架还引入KL-Cov正则化,针对会导致熵过度下降的低熵token分布,以保持探索、防止训练后期坍缩。作者称,在数学推理与代码生成基准上,该方法的稳定性和鲁棒性优于此前无监督RL方法,性能接近有监督RLVR。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
双奖励优于单奖励:一种无坍缩的多奖励 RLIF 训练框架报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv cs.CL双奖励优于单奖励:一种无坍缩的多奖励 RLIF 训练框架
研究提出一种多奖励 RLIF 框架,将训练信号拆解为基于聚类投票的答案级奖励与基于 token 级自确定度的补全级奖励,并用 GDPO 归一化缓解奖励尺度失衡。该方法还引入 KL-Cov 正则化,针对导致熵过度下降的低熵 token 分布,以保持探索、防止后期坍缩。在数学推理与代码生成基准上,其稳定性和鲁棒性优于此前无监督 RL 方法,性能接近有监督 RLVR。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。