arXiv cs.AI· Azwar Abdulsalam, Nishil Patel, Andrew Saxe·· 4 小时前AI 评分38
RL 后训练如何构建组合式推理策略
RL Post-Training Builds Compositional Reasoning Strategies
AI 导读
在完全可观测的重写语法环境中,RL 后训练能让 Transformer 解决预训练模型即便加大采样预算也极少解决的留出问题,而拒绝微调(RFT)早期有提升但随后停滞。
正文 · AI 翻译
摘要:强化学习后训练究竟只是放大了基座模型中已潜藏的原始技能,还是能将原始技能组合成新的更高层策略?我们在一个完全可观测的重写文法环境中研究这一问题,该环境的预训练分布已知,且每次生成的改写都可审计。一个 Transformer 在原始符号重写链上预训练,并在仅以二元最终答案奖励的基于 Trace 的推理任务上进行后训练。强化学习解决了预训练模型即使在更大采样预算下仍很少解决的留出问题,而拒绝采样微调早期有提升但随后停滞。Trace 分析表明,强化学习通过分阶段的组合机制重组原始能力:它先强化原始归约,再发现有效的组合过程。这些过程包括顺序组合(将原始收缩的有序链折叠)和并行组合(在单步中合并独立的原始收缩)。组合过程并非孤立样本;它们被复用并巩固为稳定的技能库。比较强化学习与拒绝采样微调表明,关键差异不在于探索量,而在于选择性:RFT 产生许多类似捷径的改写,其中大部分无效,而强化学习将探索集中于有效可复用的结构。预训练消融实验表明,组合策略的出现不仅取决于原始暴露,还取决于预训练是否将原始能力组织成强化学习后续可压缩的归约过程。基座模型提供薄弱的程序性素材;强化学习将其构建为可靠的高层策略。
| 评论: | 已被 NeurIPS 2026 接收(海报) |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2607.07646 [cs.AI] |
| (或本版本使用 arXiv:2607.07646v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2607.07646 由 DataCite 颁发 arXiv DOI |
提交历史
来自:Nishil Patel [查看邮箱]
[v1]
2026年7月8日星期三 17:04:42 UTC(1,054 KB)
[v2]
2026年11月17日星期二 17:20:07 UTC(1,042 KB)
来源:arXiv cs.AI · arxiv.org