arXiv cs.AI· Bo Yang, Zishuai Zhang, Weihua Li, Qinnan Zhang, Sijia Wen, Hainan Zhang·· 12 小时前AI 评分31
Guided-RLVR：用引导式探索增强带可验证奖励的强化学习
Guided-RLVR: Guided Exploration in Reinforcement Learning with Verifiable Rewards
AI 导读
Guided-RLVR 在 RLVR 中引入轻量控制器，向采样分布注入语义引导 token，让模型从多种推理视角解题以扩大探索空间。在数学推理与代码生成基准上，该方法一致优于现有 RLVR 方法，并产生更多样的推理轨迹。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）在提升大语言模型（LLM）于数学和编程等任务上的推理能力方面已展现出显著的实证收益。然而，近期研究表明，RLVR 的 rollout 往往会坍缩到少数狭窄的推理轨迹上，从而限制了所探索的推理空间。受“关键步骤处的思考 token 是 LLM 推理路径中的关键结构元素”这一发现的启发，我们提出了 Guided-RLVR，一种通过轻量级控制器增强 RLVR 的新方法。该控制器策略性地将语义上有意义的引导 token 注入采样分布，鼓励模型从多种推理视角处理问题，从而扩展探索空间。在数学推理和代码生成基准上的实验表明，Guided-RLVR 持续优于现有的 RLVR 方法，同时产生更多样化的推理轨迹。
| 评论： | 14 页，7 幅图，8 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37041 [cs.AI] |
| （或 arXiv:2610.37041v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37041 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bo Yang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 11:13:13 UTC（1,928 KB）
来源：arXiv cs.AI · arxiv.org