arXiv cs.AI· Jiahua Yang, Zhiwei Yang, Xianpeng Zhang, Dongyu Chen, Xing Chen, Tianhuang Su, Haonan Lu, Quanlong Guan, Kai Tang, Chuangchuang Wang·· 12 小时前AI 评分31
FastRL：面向 GRPO 的差分感知优势剪枝与自适应采样框架
Learn from the Gap: Differential-Aware Advantage Pruning with Adaptive Rollout Sampling for GRPO
AI 导读
研究者提出即插即用强化学习框架 FastRL，通过优势感知剪枝保留高优势轨迹并最大化轨迹间梯度多样性，同时用自适应 rollout 采样按历史剪枝分布动态调整采样规模。
正文 · AI 翻译
摘要：最近，组相对策略优化（GRPO）及其变体被开发用于策略优化，并展现出显著的性能提升。然而，这些方法通常会产生大量计算开销，原因在于针对每个问题进行多次 rollout 采样，以及在多次 rollout 之间重复评估每个 token 的概率。此外，低信息量或高度同质的轨迹会降低下游学习信号的效率，阻碍模型优化并限制最终性能。为解决这些问题，我们提出了 FastRL，一种新颖的即插即用强化学习框架，可同时提升训练效率和策略学习的效果。具体而言，1）我们引入了一种优势感知剪枝策略，以选择性地保留高优势轨迹，同时最大化轨迹间的梯度多样性。2）随后，我们设计了一种自适应 rollout 采样机制，基于历史剪枝分布在不同训练阶段动态调整采样规模，从而平衡探索充分性与计算效率。实验表明，FastRL 可以无缝集成到 GRPO、DAPO 和 GSPO 变体中，在 Geometry3K 和 GeoQA8K-R1V 上实现平均 2.07$\times$ 的训练加速，并在视觉推理基准上实现约 1.64\% 的平均准确率提升。源代码将在 此 https URL 提供。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.36932 [cs.AI] |
| （或本版本的 arXiv:2609.36932v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.36932 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiahua Yang [查看邮箱]
[v1]
2026年9月29日星期二 07:45:59 UTC（3,617 KB）
[v2]
2026年10月3日星期六 05:05:04 UTC（3,615 KB）
[v3]
2026年10月27日星期二 06:18:15 UTC（3,911 KB）
来源：arXiv cs.AI · arxiv.org