arXiv cs.CL· Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali·· 11 小时前AI 评分32
双奖励优于单奖励：一种无坍缩的多奖励 RLIF 训练框架
Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework
AI 导读
研究提出一种多奖励 RLIF 框架，将训练信号拆解为基于聚类投票的答案级奖励与基于 token 级自确定度的补全级奖励，并用 GDPO 归一化缓解奖励尺度失衡。该方法还引入 KL-Cov 正则化，针对导致熵过度下降的低熵 token 分布，以保持探索、防止后期坍缩。在数学推理与代码生成基准上，其稳定性和鲁棒性优于此前无监督 RL 方法，性能接近有监督 RLVR。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习（RLVR）显著提升了 LLM 的推理能力，但往往依赖人工标注或标准答案等外部监督。基于内部反馈的强化学习（RLIF）近来作为一种可扩展的无监督替代方案出现，它使用从模型自身提取的信号。然而，现有的 RLIF 方法通常依赖单一内部奖励，这可能导致奖励黑客、熵坍缩和推理结构退化。我们提出了一种多奖励 RLIF 框架，将训练信号分解为两个互补部分：基于聚类投票的答案级奖励和基于逐 token 自确定性的补全级奖励。为稳健地组合这些信号，我们采用基于 GDPO 的归一化来缓解奖励尺度不平衡。我们进一步引入 KL-Cov 正则化，针对导致不成比例熵减的低熵 token 分布，保持探索并防止后期坍缩。在数学推理和代码生成基准上，我们的方法相比先前的无监督 RL 方法提升了稳定性和鲁棒性，同时性能接近有监督的 RLVR 方法。这些结果表明，互补的内部奖励结合有针对性的正则化，可以在不依赖外部真实监督的情况下支持稳定的长程推理。代码即将发布。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.22620 [cs.LG] |
| （或 arXiv:2605.22620v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.22620 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Prashnna Gyawali [查看邮箱]
[v1]
2026年5月21日星期四 15:30:47 UTC（237 KB）
[v2]
2026年10月31日星期六 14:42:51 UTC（6,091 KB）
来源：arXiv cs.CL · arxiv.org