arXiv cs.CL· Liv G. d'Aliberti, Marwa Abdulhai, Sofiia Druchyna, Peter Henderson, Manoel Horta Ribeiro·· 9 天前AI 评分34
如何测量与缓解 RLVR 中的解法模式坍缩
Measuring and Mitigating Solution Mode Collapse in RLVR
AI 导读
研究提出 ModeBench 基准，其验证器同时返回正确性与所发现的解法模式，并用它测量 RLVR 后训练中解法多样性的变化：RLVR 会把概率集中到更少的正确模式上，即使准确率持平或提升，前沿模型也已高度集中。为此提出 Re:Max，将每种已发现模式的一个验证样例存入 replay buffer 并均匀训练，在三种模型规模、两种 RL 目标和更难任务上同时提升了成功率与解法多样性。
正文 · AI 翻译
摘要：语言模型（LM）通常可以用不止一种方式回答同一个问题，但带可验证奖励的强化学习（RLVR）并不关心模型产生的是哪一种正确答案。无论一个解法是熟悉答案的第一千次复制，还是模型从未产生过的答案，它都会获得相同的奖励。然而，让模型在训练过程中保留多个正确解法具有潜在价值。例如，多种模式可以为用户提供选择，并提供有助于提升模型整体性能的解题策略。在此，我们提出 ModeBench，这是一个多解法任务基准，其中验证器同时返回正确性和所发现的模式。随后，我们使用 ModeBench 来衡量在 RLVR 后训练下解法多样性如何变化。我们发现，即使准确率保持或提升，RLVR 后训练也会将概率集中到更少的正确模式上，而且前沿模型已经高度集中。接着，我们提出我们的解决方案 Re:Max，它将每个已发现模式的一个已验证示例存储在回放缓冲区中，并对这些存储的模式进行均匀训练。因此，一个曾经找到过一次的解法，会与一个被反复找到的解法一样频繁地被练习。在三种模型规模、两种 RL 目标和更难的任务构造中，回放既提高了策略成功的频率，也提高了它能够成功的不同方式数量。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11064 [cs.LG] |
| （或使用 arXiv:2610.11064v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11064 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liv D'Aliberti [查看电子邮件]
[v1]
2026年10月8日星期四 01:25:16 UTC（744 KB）
来源：arXiv cs.CL · arxiv.org