arXiv cs.AI· Yuv Raj Pant, Moshiur Rahman Tonmoy, Kaiqun Fu·· 13 小时前AI 评分29
CLOSEDLOOPGAUSSIAN 如何改进 GRPO：一项 Countdown 分析
When Does Closed-Loop Curriculum Adaptation Help GRPO? An Analysis on Countdown
AI 导读
研究提出 CLOSEDLOOPGAUSSIAN，一种面向有序推理任务的轻量自适应课程方法，通过周期性探测各难度准确率来动态调整 Easy-to-Hard 高斯采样的节奏与分布，加速或放缓训练并拓宽采样范围，且不改动奖励函数、模型架构和 GRPO 优化器。
正文 · AI 翻译
摘要：强化微调已成为提升大语言模型推理能力的有效后训练范式，但当训练分布与模型当前能力不匹配时，其样本效率仍然较低。在 Group Relative Policy Optimization（GRPO）等组相对目标中，过难的问题往往产生全部失败的 rollout，而过易的问题则几乎无法提供有用的优势信号。在本工作中，我们提出 CLOSEDLOOPGAUSSIAN，一种用于有序推理任务高效强化微调的轻量级自适应课程方法。CLOSEDLOOPGAUSSIAN 不遵循固定的由易到难日程，而是保留 Easy-to-Hard 高斯采样器的结构，同时利用对各难度准确率的周期性探测估计来动态调整其节奏和分布范围。当模型领先于参考课程时，控制器会加速训练；当模型落后时，则减慢速度；当先前难度出现回退时，则扩大采样范围。这种反馈机制使训练始终聚焦于具有挑战性但仍可学习的任务，且不改变奖励函数、模型架构或底层 GRPO 优化器。在符号算术推理任务上的实验表明，CLOSEDLOOPGAUSSIAN 相比原始 GRPO 和固定开环课程提高了精确匹配准确率，其中在组相对学习信号最具信息量的中等难度区间增益最强。代码可在 此 https URL 获取。
| 注释： | 6 页，2 幅图，已被 IEEE ICTAI 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39056 [cs.LG] |
| （或 arXiv:2610.39056v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39056 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuv Raj Pant [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 23:35:56 UTC（4,772 KB）
来源：arXiv cs.AI · arxiv.org