arXiv cs.CL· Yujun Zhou, Zhenwen Liang, Haolin Liu, Wenhao Yu, Kishan Panaganti, Linfeng Song, Dian Yu, Xiangliang Zhang, Haitao Mi, Dong Yu·· 14 小时前AI 评分38
EVOL-RL：无标签语言模型自进化中的选择与多样性平衡
Evolving Language Models without Labels: Majority Drives Selection, Novelty Promotes Variation
AI 导读
针对无标签自改进中"选择诱导的多样性崩溃"问题，研究者提出 EVOL-RL，用多数投票提供稳定选择信号、嵌入新颖度细化信用分配，并以熵正则和非对称裁剪维持多样化采样。在 AIME24 上无标签训练 Qwen3-4B-Base 后，held-out AIME25 的 pass@1 从 TTRL 的 4.6% 提升至 17.1%，pass@16 从 18.5% 提升至 42.0%。代码已开源。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以通过带可验证奖励的强化学习（RLVR）得到改进，但许多场景缺乏参考答案或外部验证器。无标签自我改进则改为从模型自身的输出中构建训练信号。由于同一策略既生成候选回答，又生成由这些回答导出的信号，每次更新也会改变未来训练可用的候选回答，从而形成自我强化的反馈循环。我们识别出该循环的一种失效模式，称之为选择诱导的多样性崩溃：反复的自我选择会逐步收窄候选池，使其他正确解更难被采样。为解决这一问题，我们提出 EVOL-RL，它在选择与变异之间取得平衡。多数投票提供稳定的选择信号，而基于嵌入的新颖性则在选择状态相同的回答之间细化信用分配；熵正则化和非对称裁剪通过维持多样化的 rollout 并保留稀有、高优势的更新，进一步支持这一过程。在多种训练分布、模型规模、骨干网络和匹配的无标签基线上，EVOL-RL 持续提升 pass@n，同时总体保持或提升 pass@1。例如，在 AIME24 上无标签训练时，Qwen3-4B-Base 在留出的 AIME25 上相比 TTRL，pass@1 从 4.6% 提升到 17.1%，pass@16 从 18.5% 提升到 42.0%。训练分析进一步表明，当当前多数派错误时，EVOL-RL 能更好地保留其他正确解。代码见：this https URL。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2509.15194 [cs.LG] |
| （或本版本的 arXiv:2509.15194v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2509.15194 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yujun Zhou [查看邮箱]
[v1]
2025年9月18日 星期四 17:50:04 UTC（274 KB）
[v2]
2025年10月1日 星期三 05:29:42 UTC（454 KB）
[v3]
2026年2月18日 星期三 00:51:43 UTC（488 KB）
[v4]
2026年10月24日 星期六 05:17:29 UTC（544 KB）
来源：arXiv cs.CL · arxiv.org