arXiv cs.AI· Hanyu Wang, Nakul Agarwal, Hossein Nourkhiz Mahjoub, Ehsan Moradi Pari, Makoto Fukushima, Jinghui Chen, Vaishnav Tadiparthi·· 9 天前AI 评分22
推理强化学习轨迹采样中参考引导与自由生成的平衡
Balancing Reference Guidance and Free Generation in Trajectory Rollouts for Reasoning RL
AI 导读
研究提出 Adaptive Reference Guidance（ARG），通过前缀续写让模型从参考解前缀继续生成轨迹，验证通过则保留、否则回退到参考解，并用续写结果学习跨题目共享的前缀选择器。该方法应用于 GRPO 的全失败组，在 Qwen3-4B 和 Qwen3-8B 的五个数学推理基准上取得所评估方法中最高的 aggregate pass@12，平均采样准确率也具竞争力。
正文 · AI 翻译
摘要：经过验证的参考解为训练推理模型提供了正确的轨迹。或者，参考解的前缀可以引导模型自行生成轨迹。我们应该提供多少参考引导？我们通过前缀续写来研究这个问题，即模型从参考前缀继续生成，如果生成的轨迹通过验证就保留它，否则回退到参考解。由于这两种过程都产生正确的轨迹，我们将它们的分布与理想分布进行比较，理想分布是模型自身在成功验证条件下的分布。对于一次续写，我们推导出闭式 KL 散度，该散度在相差一个有界项的意义下，随生成不同正确轨迹的概率与参考惊奇度（给定前缀下参考后缀的负对数概率）的乘积而减小。由于更长的前缀往往会提高前者但降低后者，仅凭续写成功并不能决定偏好的引导量。基于这一分析，我们从续写结果中学习一个在训练问题上共享的前缀选择器，无需估计成功概率或额外生成。由此得到的自适应参考引导（ARG）在固定的生成预算内构造正确轨迹，我们将其应用于组相对策略优化（GRPO）中的全失败组。在 Qwen3-4B 和 Qwen3-8B 上跨五个数学推理基准的实验表明，ARG 在所评估方法中取得了最高的聚合 pass@12，同时具有有竞争力的平均采样准确率。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11128 [cs.AI] |
| （或使用 arXiv:2610.11128v1 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.11128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hanyu Wang [查看邮箱]
[v1]
2026年10月8日星期四 02:54:48 UTC（411 KB）
来源：arXiv cs.AI · arxiv.org