arXiv cs.CL· Xin Xu, Clive Bai, Kai Yang, Tianhao Chen, Cai Yuchen, Yangkun Chen, Weijie Liu, Hao Chen, Yang Wang, Saiyong Yang, Can Yang·· 2 天前AI 评分24
Composition-RL：为大语言模型强化学习组合可验证提示词
Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models
AI 导读
针对 RLVR 训练中通过率为 1 的简单提示词随训练推进不断增多、压缩有效数据规模的问题，研究者提出离线数据增强方法 Composition-RL，在 RL 之前组合现有提示词，且不修改 RL 优化器。在 4B 至 30B 模型上的实验显示，其推理能力持续优于用原始数据集训练的 RL，课程变体可进一步提升表现，并支持跨域提示词组合。代码、数据与模型均已公开。
正文 · AI 翻译
作者：Xin Xu、Clive Bai、Kai Yang、Tianhao Chen、Cai Yuchen、Yangkun Chen、Weijie Liu、Hao Chen、Yang Wang、Saiyong Yang、Can Yang
摘要：大规模可验证提示词是带可验证奖励的强化学习（RLVR）成功的基础，但其中包含许多无信息量的样本，且进一步扩展成本高昂。近期研究侧重于通过优先选择 rollout 通过率为 0 的困难提示词来更好地利用有限的训练数据。然而，随着训练推进，通过率为 1 的简单提示词也日益普遍，从而降低了有效数据规模。为缓解这一问题，我们提出 Composition-RL，一种离线数据增强方法，它在 RL 之前组合现有提示词，以在不修改 RL 优化器的情况下解决通过率为 1 的瓶颈。组合数据集从固定源池中一次性生成并验证，随后用于 RL 训练。在 4B 到 30B 模型规模上的大量实验表明，Composition-RL 相比在原始数据集上训练的 RL 持续提升推理能力。采用 Composition-RL 的课程变体，在训练过程中逐步增加组合深度，可进一步提升性能。此外，Composition-RL 通过组合来自不同领域的提示词，实现了更有效的跨领域 RL。我们的所有代码、数据和模型均已公开，以促进未来研究。
| 评论： | NeurIPS 2026 正式版。33 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.12036 [cs.CL] |
| （或 arXiv:2602.12036v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.12036 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Xin Xu [查看邮箱]
[v1]
2026 年 2 月 12 日星期四 15:03:37 UTC（541 KB）
[v2]
2026 年 4 月 22 日星期三 12:48:11 UTC（624 KB）
[v3]
2026 年 10 月 15 日星期四 09:59:17 UTC（612 KB）
来源：arXiv cs.CL · arxiv.org