arXiv cs.AI· Hoang Phan, Minh Pham, Chau Pham, Chinmay Hegde, Trung Le, Qi Lei·· 10 天前AI 评分22
RGPO：用自适应理由脚手架让大语言模型学会推理
Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
AI 导读
研究者提出 Rationale-Guided Policy Optimization（RGPO），将真实理由作为临时脚手架而非固定模仿目标，仅在模型生成更高奖励解后才回传至无引导设置，从而在不要求辅助数据与 RL 任务格式一致的前提下缓解奖励稀疏。
正文 · AI 翻译
摘要：同策略强化学习已成为提升大语言模型推理能力的核心范式。然而，其有效性常受限于奖励稀疏性：当模型无法为困难问题发现正确轨迹时，优化过程几乎得不到有用信号，可能陷入停滞。现有方法通过引入离策略演示、专家轨迹或模型生成的解答来缓解这一问题，但它们通常要求辅助数据与强化学习任务的格式相匹配，往往依赖从更强模型中进行拒绝采样来获得合适的训练轨迹。我们提出理由引导策略优化（RGPO），这是一个根据模型当前能力自适应利用真实理由信息、同时保留其探索自由的框架。RGPO 不将参考解答视为固定的模仿目标，而是将其用作临时脚手架：理由帮助模型生成更优的回复，随后只有奖励更高、由模型生成的解答被迁移回原始的无引导设置。这一设计使训练能够利用可用的真实信息，而无需离策略数据遵循与强化学习任务相同的格式。在纯语言和视觉语言推理两种设置下，RGPO 均持续优于 RLVR 基线，消融研究表明自适应理由引导是这些增益的关键贡献因素。这些结果表明，RGPO 为降低奖励稀疏性、稳定强化学习以及提升纯文本和多模态模型的推理性能提供了一种实用且通用的方法。
| 评论： | NeurIPS 2026 |
| 学科： | 人工智能（cs.AI） |
| 引用格式： | arXiv:2610.07342 [cs.AI] |
| （或 arXiv:2610.07342v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07342 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Hoang Phan [查看邮箱]
[v1]
2026年10月5日星期一 20:15:12 UTC（2,495 KB）
来源：arXiv cs.AI · arxiv.org