arXiv cs.CL· Zicheng Xu, Ruixuan Zhang, Yu-Neng Chuang, Xiuyi Lou, Hoang Anh Duy Le, Oren Gal, Alexander S. Szalay, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman·· 2 天前AI 评分22
自适应数据调度 ADS 如何提升 LLM 强化学习效果
Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning
AI 导读
研究者提出自适应数据调度（ADS），一种双层数据调度框架，在语义聚类层面自适应调整簇间采样分布，在样本层面追踪接近策略能力边界的提示词。在三个 LLM 和七个推理基准上，ADS 相比 GRPO 平均准确率提升 5.5%，并能持续改进不同目标设计的 RL 方法，源代码已公开。
正文 · AI 翻译
摘要：大型语言模型（LLM）通过强化学习（RL）后训练获得了卓越的推理能力。然而，现有的 RL 后训练通常依赖均匀数据采样，忽略了训练数据的语义结构以及训练策略不断演进的能力。为解决这些局限，我们提出了自适应数据调度（ADS），一个双层数据调度框架，将跨语义簇的自适应采样与策略边界样本选择相结合。在簇层面，ADS 根据语义模式组织样本，并调整簇间采样分布，以优先选择策略当前能力范围内的簇。在样本层面，ADS 在每个簇内追踪接近策略能力边界的提示，以获得信息量丰富的相对优势。在三个 LLM 和七个推理基准上的实验结果表明，ADS 相比组相对策略优化（GRPO）将平均准确率提升了 5.5%。值得注意的是，ADS 能持续改进具有不同目标设计的 RL 方法，凸显了其作为通用数据调度策略的潜力。源代码见：此 https URL。
| 评论： | 15 页，4 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.22305 [cs.CL] |
| （或 arXiv:2606.22305v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.22305 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zicheng Xu [查看邮箱]
[v1]
2026 年 6 月 21 日星期日 02:19:17 UTC（4,683 KB）
[v2]
2026 年 10 月 14 日星期三 23:58:09 UTC（4,697 KB）
来源：arXiv cs.CL · arxiv.org