arXiv cs.CL· Wenhang Shi, Yiren Chen, Zhe Zhao, Jinhao Dong, Wei Lu, Xiaoyong Du·· 2 天前AI 评分34
Self-Evolution Reasoner：通过策略内在探索与利用实现持续优化
Self-Evolution Reasoner: Continuous Optimization via Policy-Intrinsic Exploration and Exploitation
AI 导读
研究者提出 Self-Evolution Policy Optimization（SEPO）框架，用标签引导策略采样出正确推理，再将当前策略作为自教师把新解法蒸馏回模型，形成策略内在的探索与利用循环。在科学、工具使用和复杂逻辑推理任务上，相同训练时间或步数下 SEPO 均取得最佳表现，并在基线严重失效的复杂任务和小规模模型上仍保持稳定提升。代码已开源。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习（RLVR）使大语言模型（LLM）能够持续自我提升其推理能力。与 RLVR 的标量奖励相比，近期的自监督同策略蒸馏方法利用了更密集的监督信号。然而，这两种范式都面临探索瓶颈，当策略无法采样到有效解时，难以跳出局部最优。依赖外部示范可以绕过这一问题；但其离策略性质阻碍了真正的自我提升，且分布不匹配的推理无法被充分利用。在本工作中，我们提出自进化策略优化（SEPO），一个通过引导式探索与同分布利用来驱动推理能力持续演化的框架。具体而言，SEPO 利用标签从策略中引出正确的推理，释放探索潜力。通过将以此同分布推理为条件的当前策略视为自教师，SEPO 将新发现的解蒸馏回策略中。通过这一策略内在探索与利用的迭代循环，SEPO 实现了稳健且持续的能力演化。在科学、工具使用和复杂逻辑推理领域，SEPO 在相同训练时间或步数下始终取得最佳性能，展现出更优的效率和收敛上限。值得注意的是，即使在基线严重表现不佳或完全失败的情形下（如复杂任务或小规模模型），SEPO 仍能保持稳定提升。我们的代码可在 此 https URL 获取。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34137 [cs.LG] |
| （或 arXiv:2610.34137v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34137 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenhang Shi [查看邮箱]
[v1]
2026年10月25日 周日 08:18:39 UTC（308 KB）
来源：arXiv cs.CL · arxiv.org