arXiv cs.AI· Ronghan Li, Fei Chen, Mingyu Lu·· 6 天前AI 评分22
GRPO 课程难度递进：适度加难有益，过度加难有害
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
AI 导读
研究在 GRPO 中重新估计当前策略下的样本难度，并设计分阶段课程逐步将训练难度带移向更难的样本。GSM8K 实验显示，固定选择中等难度样本并非最优：三个随机种子下，递进到适度更难难度带将测试准确率提升至 0.6591 ± 0.0077，高于固定中等难度的 0.6449 ± 0.0024；但进一步递进到更难难度带时准确率降至 0.6405 ± 0.0053，表明难度递进的收益呈非单调性。
正文 · AI 翻译
摘要：课程学习通常按照从易到难的顺序组织训练样本。在 GRPO 中，中等难度的样本因更有可能产生有信息量的组相对学习信号而适合在线选择，优先使用它们可以提高训练效率。然而，持续选择此类样本是否也能带来最强的最终模型性能，或者训练能否从逐步转向更难样本中获益，目前尚不清楚。同时，样本难度会随策略演化而变化，因此固定的难度估计可能与当前策略不一致。为此，我们在当前策略下重新估计样本难度，并受课程学习由易到难原则的启发，设计并评估了一种分阶段课程，使活跃难度区间逐步向更难样本移动。在 GSM8K 上的实验表明，持续选择中等难度并不能达到所观察到的最强性能。在三个随机种子下，逐步推进到适度更难的难度区间可将测试准确率提升至 $0.6591 \pm 0.0077$，而固定中等难度课程为 $0.6449 \pm 0.0024$。然而，进一步推进到更难的难度区间会使准确率降至 $0.6405 \pm 0.0053$。这些结果表明，分阶段难度推进可以优于持续的中等难度选择，但其收益是非单调的。因此，有效的 GRPO 课程可以从超越中等难度的推进中获益，同时避免过度推进到过于困难的样本。}
| 评论： | 30 页，8 张图，19 张表 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13669 [cs.AI] |
| （或 arXiv:2610.13669v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13669 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ronghan Li [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 14:37:32 UTC（447 KB）
来源：arXiv cs.AI · arxiv.org