跳到正文
热点事件持续更新

多奖励RLIF框架提出,缓解奖励失衡与坍缩

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Shourov Joarder等作者提出一种多奖励RLIF训练框架,把训练信号拆成两部分:基于聚类投票的答案级奖励,以及基于token级自确定度的补全级奖励,并用GDPO归一化缓解奖励尺度失衡。 该框架还引入KL-Cov正则化,针对会导致熵过度下降的低熵token分布,以保持探索、防止训练后期坍缩。作者称,在数学推理与代码生成基准上,该方法的稳定性和鲁棒性优于此前无监督RL方法,性能接近有监督RLVR。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    双奖励优于单奖励:一种无坍缩的多奖励 RLIF 训练框架

    研究提出一种多奖励 RLIF 框架,将训练信号拆解为基于聚类投票的答案级奖励与基于 token 级自确定度的补全级奖励,并用 GDPO 归一化缓解奖励尺度失衡。该方法还引入 KL-Cov 正则化,针对导致熵过度下降的低熵 token 分布,以保持探索、防止后期坍缩。在数学推理与代码生成基准上,其稳定性和鲁棒性优于此前无监督 RL 方法,性能接近有监督 RLVR。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。