arXiv cs.CL· Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi·· 14 小时前AI 评分42
该奖励什么、在哪奖励？理解强化学习中可验证与开放式领域间的泛化
Where and What to Reward? Understanding Generalization Between Verifiable and Open-Ended Domains in Reinforcement Learning
AI 导读
一项控制变量研究在多个基座模型上固定优化器与训练提示词数量，仅改变提示词来源领域（数学、多领域、对话及混合）与奖励类型，以厘清 RLVR 与 RLHF 的跨域迁移。结果显示，在开放式提示词上使用奖励模型做 RLHF 不仅大幅提升对话能力，还带来推理与编码的显著增益；而 RLVR 虽提升推理，其在开放式对话上的收益远低于 RLHF。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）被广泛用于提升语言模型的推理能力，因为模型生成的答案可以很容易地由基于规则的验证器验证。相比之下，基于人类反馈的强化学习（RLHF）主要用于通过学习到的奖励模型优化开放式对话，因为这类回复不易验证。RLVR 和 RLHF 通常各自使用本领域的数据和训练协议分别训练。这些领域之间的收益如何迁移尚不清楚，部分原因是比较时会同时改变模型训练的位置（提示词）和奖励的内容（由验证器或奖励模型给出）。我们在多个基础模型上开展了一项受控的强化学习研究，将二者分离：固定优化器和训练提示词数量，仅改变提示词的来源领域（数学、多领域、聊天或混合）以及奖励。我们发现，在开放式提示词上进行 RLHF 能显著提升对话能力，并在推理和编程方面带来大幅增益；而 RLVR 能提升推理能力，但其在开放式对话上的增益远低于 RLHF 并趋于停滞，这表明在开放式提示词上使用奖励模型进行强化学习可以作为跨领域泛化的有效方法。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.15464 [cs.LG] |
| （或本版本的 arXiv:2605.15464v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.15464 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Shangjian Yin [查看邮箱]
[v1]
2026年5月14日 星期四 23:05:23 UTC（668 KB）
[v2]
2026年10月26日 星期一 17:21:42 UTC（130 KB）
来源：arXiv cs.CL · arxiv.org