arXiv cs.AI· Xi Chen, Ruixue Ding, Zhigaoyuan Wang, Fanrui Zhang, Qiang Zhang, Boli Chen, Shihang Wang, Tianfu Wang, Ailin Ren, Pengyong Wang, Pengjun Xie, Hui Xiong·· 6 天前AI 评分41
Rollout-Time Intervention：让智能体强化学习突破策略能力边界
Rollout-Time Intervention: Unlocking Agentic Reinforcement Learning Beyond Policy Limits
AI 导读
研究者提出 Rollout-Time Intervention（RTI），在 rollout 阶段利用奖励侧证据（评估 rubric）将错误轨迹转化为成功轨迹，为策略自身难以解决的任务提供学习信号。
正文 · AI 翻译
作者：Chen Xi、Ding Ruixue、Wang Zhigaoyuan、Zhang Fanrui、Zhang Qiang、Chen Boli、Wang Shihang、Wang Tianfu、Ren Ailin、Wang Pengyong、Xie Pengjun、Xiong Hui
摘要：强化学习（RL）已成为提升大语言模型（LLM）智能体的关键范式，使其在交互环境中具备更强的推理、规划与工具使用能力。然而，现有的智能体 RL 方法从根本上受限于同策略推理瓶颈：当任务超出模型当前能力边界时，有效轨迹变得极其稀疏，训练往往崩溃。我们提出 Rollout-Time Intervention（RTI），一种旨在激发超出策略内在探索能力的成功轨迹的技术。RTI 通过在 rollout 过程中利用奖励侧证据（即评估评分标准），将错误轨迹转化为成功轨迹，从而为策略自身极少能解决的任务提供有效的学习信号。尽管干预轨迹本质上是离策略的，但我们发现，当过滤掉分布偏移过大的轨迹后，它们能够有效指导策略优化。在五个基准上的大量实验表明，RTI 持续优于 RL 基线，使后训练策略的性能接近显著更强的当代 LLM，更重要的是，超越了其原始能力边界。代码可在 this https URL 获取。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13438 [cs.AI] |
| （或 arXiv:2610.13438v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13438 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Xi Chen [查看邮箱]
[v1]
2026年10月9日星期五 11:37:09 UTC（1,673 KB）
来源：arXiv cs.AI · arxiv.org