arXiv cs.AI· Yuqian Fu, Kaiwen Jiang, Zijun Song, Jiawei Wang, Yuanheng Zhu, Dongbin Zhao·· 3 天前AI 评分25
TSRL：基于触发的监督强化学习实现智能体持续训练
TSRL: Trigger-based Supervised Reinforcement Learning for Continual Agent Training
AI 导读
研究者提出 TSRL（Trigger-based Supervised Reinforcement Learning），以 RL 为优化主干，仅在策略失败的"hard states"上选择性激活 SFT，理论上可限制累积参数更新上界以减少遗忘。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体擅长复杂的多步骤任务，但在持续学习过程中会遭受灾难性遗忘——习得新技能往往会削弱此前已掌握的能力。现有的后训练范式面临一个根本性权衡：监督微调（SFT）样本效率高，但容易导致严重遗忘；而强化学习（RL）能保留既有能力，但在没有专家指导的情况下收敛缓慢。为弥合这一差距，我们提出了基于触发的监督强化学习（TSRL），这是一个通过自适应、状态依赖的专家监督机制融合两种范式优势的框架。TSRL 以 RL 作为优化主干，仅在策略失败的“困难状态”上有选择地激活 SFT。在理论上，我们证明将监督限制在失败状态上可推导出累积参数更新的上界，从而相比完全 SFT 减少遗忘。在实证上，TSRL 在三个智能体基准（ALFWorld、WebShop 和 Deep Search）上于 7B 和 32B 规模均取得了一致的提升。在持续学习场景中，我们的方法在先前任务上比 SFT->RL 基线最多多保留 9.6 分的能力，同时在目标任务上达到或超过其表现。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17726 [cs.LG] |
| （或本版本使用 arXiv:2610.17726v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.17726 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuqian Fu [查看邮箱]
[v1]
2026年10月13日星期二 05:02:58 UTC（548 KB）
来源：arXiv cs.AI · arxiv.org