arXiv cs.CL· Saif Punjwani, Micah Goldblum·· 10 天前AI 评分23
ExpDis：将探索与优化解耦的 RLVR 框架
Decoupling Exploration from Optimization in RLVR
AI 导读
研究者提出 Exploration-Distillation（ExpDis）框架，将 RLVR 中的探索与优化解耦：先用带新颖性奖励的 explorer 策略采样并筛选轨迹，再蒸馏到不带新颖性奖励的 student 策略，多轮交替进行。在七个数学推理基准和两个模型家族上，ExpDis 在相同 wall-clock 预算下优于 DAPO，并展现出更好的 pass@k 扩展性。
正文 · AI 翻译
摘要：现代语言模型在已训练好的检查点之上进行可验证奖励强化学习（RLVR）。RLVR 的一个关键承诺是发现新的推理策略。原则上，模型可以采样出其先前训练数据中不存在的新想法。然而在实践中，用强新颖性激励来增强 RLVR 收效有限，并且可能降低模型质量。由于可验证奖励只监督模型知识和行为中很窄的一部分，这类退化很难恢复。为此，我们在一个称为探索-蒸馏（ExpDis）的框架中将探索与优化解耦。我们用一个奖励中的新颖性奖励项训练一个或多个探索者策略，对其轨迹进行正确性和质量过滤，再将其蒸馏到一个单独的学生策略中。随后，学生策略在没有新颖性奖励的情况下训练。我们重复上述过程若干轮，在探索与优化之间交替。这种解耦使我们能够在不降低学生策略的情况下大幅扩展探索。在七个数学推理基准和两个模型家族上，ExpDis 在相同的墙钟时间预算下优于 DAPO。此外，我们观察到 pass@$k$ 扩展性有所改善，表明 ExpDis 产生的模型能生成更多样的正确解。
| 评论： | 20 页，16 幅图，9 张表。代码：此 https URL。检查点：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10536 [cs.LG] |
| （或 arXiv:2610.10536v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10536 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Saif Punjwani [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 17:59:26 UTC（782 KB）
来源：arXiv cs.CL · arxiv.org