arXiv cs.AI· Bangji Yang, Jiajun Fan, Hongbo Ma, Ruihan Guo, Ge Liu·· 10 天前AI 评分29
扩大强化学习规模真的需要更多训练吗？SURGE 提出策略空间扩展方法
Does Scaling Reinforcement Learning Really Require More Training?
AI 导读
研究者提出策略空间扩展（policy-space scaling），可从已完成的 RL 训练历史中提取比优化器访问过的 checkpoint 更强的策略，无需延长训练或增加单次推理计算。
正文 · AI 翻译
摘要：扩展推理通常将更多计算花费在强化学习（RL）或推理上。我们表明，一个已完成的 RL 训练历史可以产生比其优化器所访问的检查点更强的策略。我们称之为策略空间扩展：从固定的 RL 历史中扩展可部署的策略集合，而无需延长训练或增加每次查询的推理计算。我们用 SURGE（Scaling Up RL Gradient-free via Eigenspace fusion）来实现它。SURGE 将同一次 RL 运行中的两个检查点结合起来：一个高精度锚点和一个生成更短回复的竞争性供体。它将两个检查点表示为相对于其共享初始化的变化，然后对锚点的更新进行谱分解，以保留其主导成分并融入供体的互补成分。在固定锚点更新保留比例目标的情况下，SURGE 直接从权重确定块大小，而无需测试候选策略。我们评估了两个 1.5B 数学推理历史，DeepSeek 和 Nemotron，以及一个 7B 编码历史，OLMo。SURGE 在基准平均准确率上优于两个输入检查点，同时使用的推理 token 比锚点更少。它在 DeepSeek AIME24 上达到 54.17%，而实测原生最大值为 50.83%；在 OLMo HumanEval+ 上达到 83.7%，而后者为 82.8%。这些增益超过了观察到的训练曲线。几何控制支持了 RL 更新结构的重要性，而不仅仅是权重位移或 token 减少。每个构建的模型都作为单一策略运行。我们的发现将存储的 RL 历史识别为一种可复用的扩展资源：一次训练运行所能提供的能力不必止步于其最佳检查点。
| 评论： | 更正了一位作者姓名中的拼写错误。论文内容无变化 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.01133 [cs.LG] |
| （或 arXiv:2610.01133v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01133 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Bangji Yang [查看电子邮件]
[v1]
2026年10月1日星期四 06:13:23 UTC（268 KB）
[v2]
2026年10月6日星期二 05:30:06 UTC（268 KB）
来源：arXiv cs.AI · arxiv.org