多轮强化学习究竟提升了 LLM 智能体的什么能力？

What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?

AI 导读

研究通过 Pass@(K,T) 在采样广度 K 与交互深度 T 上评估发现，多轮智能体强化学习的轨迹级收益依赖充足的轮次预算，预算收紧时收益显著衰减。该方法的优势集中在错误恢复与长程韧性，而非均匀提升单步决策质量。作者提出 BudgetMix RL，在训练中变化交互预算，在多种执行设置下取得稳健表现。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：多轮智能体强化学习（RL）在长时程任务上表现优异，但其性能提升对交互约束高度敏感。我们通过 $Pass@(K,T)$ 在采样广度 $K$ 与交互深度 $T$ 上评估，结果表明轨迹级 RL 优势依赖于充足的轮次预算，当预算收紧时显著下降。此外，智能体 RL 并非均匀提升单步决策质量，其优势集中于错误恢复与长时程韧性。为缓解这种预算依赖带来的部署风险，我们初步讨论了过程监督信号的收益与局限，并引入 BudgetMix RL 作为替代方案，在训练中变化交互预算。实验表明，BudgetMix RL 在多种执行设置下均取得稳健性能。项目页面：this https URL

Comments:	项目页面：this https URL
Subjects:	机器学习（cs.LG）；计算与语言（cs.CL）
Cite as:	arXiv:2611.06483 [cs.LG]
	（或 arXiv:2611.06483v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.06483 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Kejian Zhu [查看邮箱]
[v1] 2026年11月4日星期三 13:24:54 UTC（956 KB）

来源：arXiv cs.CL · arxiv.org