arXiv cs.AI· Jiahao Wu, Ning Lu, Shengcai Liu, Kun Wang, Yanting Yang, Baijiong Lin, Chen Jason Zhang, Li Qing, Ke Tang·· 13 小时前AI 评分31
HIVE：面向大型推理模型高效 RL 训练的在线验证提示词选择方法
Train at Moving Edge: Online-Verified Prompt Selection for Efficient RL Training of Large Reasoning Model
AI 导读
研究者提出 HIVE（History-Informed and online-VErified prompt selection）双阶段框架，在 rollout 前筛选高效用提示词以降低大型推理模型 RL 训练成本。
正文 · AI 翻译
摘要：强化学习（RL）已成为在推理任务中对大型语言模型（LLM）进行后训练的关键手段。虽然扩大 rollout 规模可以稳定训练并提升性能，但计算开销是一个关键问题。在 GRPO 等算法中，每个提示进行多次 rollout 会带来高昂成本，因为很大一部分提示提供的梯度可以忽略不计，因而效用很低。为解决这一问题，我们研究了如何在 rollout 阶段之前筛选高效用提示。我们的实验分析表明，样本效用是非均匀且不断演化的：最强的学习信号集中在“学习边缘”，即中等难度与高不确定性的交汇处，而这一位置会随着训练的推进而移动。受此启发，我们提出了 HIVE（History-Informed and online-VErified prompt selection，历史信息引导与在线验证的提示选择），这是一个用于数据高效强化学习的双阶段框架。HIVE 利用历史奖励轨迹进行粗筛，并以提示熵作为实时代理来剔除效用已过时的样本。通过在多个数学推理基准和模型上评估 HIVE，我们表明 HIVE 在不损害性能的前提下显著提升了 rollout 效率。
| 评论： | NeurIPS 2026 Camera Ready |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.25184 [cs.LG] |
| （或 arXiv:2603.25184v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.25184 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiahao Wu [查看邮箱]
[v1]
2026年3月26日 星期四 08:52:35 UTC（23,139 KB）
[v2]
2026年6月6日 星期六 09:08:19 UTC（9,291 KB）
[v3]
2026年9月2日 星期三 11:47:11 UTC（9,299 KB）
[v4]
2026年10月28日 星期三 11:00:38 UTC（8,652 KB）
来源：arXiv cs.AI · arxiv.org