arXiv cs.AI· Ximing Lu, Aviral Kumar, Jan Kautz, Yejin Choi, David Acuna·· 6 天前AI 评分40
MagicBeanStalk：用递归数据合成逃离 RLVR 零优势陷阱
MagicBeanStalk: Escaping the RLVR Zero Advantage Trap with Recursive Data Synthesis
AI 导读
针对 RLVR 数据中约 88% 问题在固定策略与 rollout 预算下全部答对或全部答错、形成零优势陷阱的问题，研究者提出递归数据合成算法 MagicBeanStalk，通过自顶向下分解与自底向上递归，将种子问题扩展为策略与预算校准的新训练题。
正文 · AI 翻译
摘要：以数据为中心的 RLVR 扩展一直聚焦于收集或生成可验证的训练问题。然而，仅凭语料库规模并不能决定数据集能否为目标策略提供有用的学习信号。为指导有效 RLVR 数据的合成，我们通过实验刻画了数据集有效性与其问题、目标策略以及训练 rollout 预算之间的函数关系。在这一刻画下，我们表明，从广泛使用的 RLVR 数据集中汇集而成的大型开源数学语料库几乎完全落入零优势陷阱：对于固定的目标策略和 rollout 预算，其约 88% 的问题在每次 rollout 中都被解决或在每次 rollout 中都失败。过滤可以浓缩剩余部分，但它只能进行选择，而丢弃了那些难题。因此，有效的合成问题应当要求具备解决这些难题所需的推理操作和组合。然而，它们的难度必须经过校准，使得一些 rollout 成功、一些失败，并且至少有一个正确解能在训练预算内完成。直接提示教师模型改变难题并不能实现这一点。在这些经验原则的指导下，我们提出了 MagicBeanStalk，一种自顶向下分解与自底向上递归的数据合成算法，它将种子问题扩展为大量实质全新、且经过策略与预算校准的训练问题，同时保留种子的推理蓝图。在 8 个数学基准上，使用 MagicBeanStalk 问题进行持续 RLVR，在 16K token 预算下将 gpt-oss-120b 从 61.2 提升至 69.8（+8.6），将 DeepSeek v4Flash 从 72.4 提升至 77.9（+5.4）。在完整的 78K 源语料库上训练仅提升 +1.1，而其最佳过滤真实数据子集提升 +5.8。在金融领域，我们仅从 340 个解中合成了超过 14K 个可验证问题，并在 SecQue 和 FinanceBench 上分别较基线提升 6.9 和 2.4 分。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12659 [cs.AI] |
| （或 arXiv:2610.12659v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12659 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：David Acuna [查看电子邮件]
[v1]
2026年10月8日星期四 19:25:48 UTC（1,554 KB）
来源：arXiv cs.AI · arxiv.org