arXiv cs.AI· Haoze Li, Peng Zhou, Peiyuan Wu, Weijie Zhao, Yinan Xin·· 3 天前AI 评分39
VH-GPO：面向 LLM 智能体强化学习的验证式师生交接
VH-GPO: Verified Handoff for LLM Agent Reinforcement Learning
AI 导读
VH-GPO 通过结果验证的师生交接机制，在教师修复学生失败轨迹后选择最早可独立确认的交接点，让成功经验重新由学生生成。在 Qwen2.5-1.5B 上，ALFWorld 成功率从 GRPO 的 59.38% 提升至 94.79%，WebShop 从 71.62% 提升至 77.34%，7B 学生同样有效。
正文 · AI 翻译
摘要：诸如 GRPO 之类的组相对强化学习方法通过比较同一任务的多次 rollout 来训练大语言模型（LLM）智能体。当一组中的所有轨迹都以相同的奖励失败时，相对优势会趋近于零，从而不留下有用的学习信号。冻结的教师模型可以从学生访问过的状态中恢复，但让它完成任务会使恢复出的后缀完全由教师生成。我们提出：在修复学生的失败之后，控制权应在何时交还给学生？我们提出结果验证的师生交接，并在组策略优化的验证交接（VH-GPO）中加以实现。教师提供足够的支持以到达一个学生能够成功的状态，然后交还控制权，使成功经验再次由学生生成。给定环境验证的教师恢复，VH-GPO 在有限搜索预算内选择最早被独立确认的交接点。在 Qwen2.5-1.5B 上，VH-GPO 将成功率相较 GRPO 在 ALFWorld 上从 59.38% 提升至 94.79%，在 WebShop 上从 71.62% 提升至 77.34%。这些提升在 7B 学生模型上同样成立，在 ALFWorld 和 WebShop 上，额外的教师和学生输出 token 分别仅相当于常规学生 rollout 输出 token 的 1.77% 和 2.61%。消融研究证明了关键组件的有效性。这些结果支持使用经过验证的教师辅助来修复失败，同时强化学生独立完成任务的能力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14000 [cs.LG] |
| （或 arXiv:2610.14000v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14000 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoze Li [查看邮箱]
[v1]
2026年9月27日星期日 05:25:37 UTC（437 KB）
来源：arXiv cs.AI · arxiv.org