arXiv cs.CL· Minchan Kim, Sungho Bae, Youngjin Kim, Hyunwoo Park·· 3 天前AI 评分22
GRPO 长程 LLM 智能体训练该从哪里起步、如何推进：课程学习策略分析
Where to Start, How to Move: Analyzing Curricula under GRPO for Long-Horizon LLM Agents
AI 导读
研究分析了 Guide Assisted GRPO 在长程 LLM 智能体任务中的课程设计，考察初始位置、交接单元和移动规则对无辅助任务完成率的影响。在 BFCL 上跨三种模型规模，固定轮级阈值下从接近完成处起步更有效；更细粒度的交接本身帮助不稳定，但基于结果信息的工具调用选择在已训练和未训练任务类别上均优于 GRPO。引导式起步在 AppWorld 两个评测划分上也提升了成功率。
正文 · AI 翻译
摘要：当所有 rollout 获得相同奖励时，Group Relative Policy Optimization（GRPO）无法提供奖励相对的学习信号。在需要多次交互的长时程任务中，奖励仅在任务成功完成时给出，这使得全失败组在训练早期很常见，并限制了练习后续步骤的机会。Guide Assisted GRPO 在学习器继续之前重放一个成功的参考前缀。我们研究初始位置、交接单元和移动规则如何影响无辅助任务完成。在 BFCL 上的三种模型规模中，在固定的回合级阈值规则下，从接近完成处开始更有效。仅更细粒度的交接并不能持续带来帮助，但基于结果信息的工具调用选择在已训练和未训练的任务类别上均优于 GRPO。引导式起始在两种评估划分上也提升了 AppWorld 的成功率。这些发现凸显了学习从何处开始以及起始位置如何移动作为关键课程选择的重要性。
| 评论： | 7 页，4 幅图，4 张表。Minchan Kim 和 Sungho Bae 贡献相同 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19349 [cs.LG] |
| （或 arXiv:2610.19349v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19349 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Minchan Kim [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 00:42:53 UTC（205 KB）
来源：arXiv cs.CL · arxiv.org