arXiv cs.AI· Haoyu Hu, Xuandong Zhao, Xuhai "Orson'' Xu, Nori Jacoby·· 13 小时前AI 评分34
DUET：面向可验证奖励强化学习的 Token 预算分配优化方法
DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards
AI 导读
DUET 是一种叠加在 GRPO 之上的双维度 Token 预算控制方法，同时决定每个 prompt 分配多少条 rollout 以及每条 rollout 何时停止。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）在每个训练步骤中生成数十万个 token，其中 rollout 生成占据了主要计算开销。总体 token 预算可从两个主要维度进行控制：(i) 决定将 rollout 分配给哪些提示词；(ii) 决定每个 rollout 应持续多长。以往工作通常一次只控制其中一个维度。我们表明，在共享计算预算下联合调整这两个决策，可同时提升推理质量和实际训练时间。我们将这一观点实例化为 \textbf{DU}al-controlled tok\textbf{E}n alloca\textbf{T}ion（DUET），这是一个构建在 GRPO 之上的计算高效层，它使用轻量级的 rollout 前提示词信息量代理来决定每个提示词获得多少 rollout，并使用带重要性重加权的标记门控中止规则来决定何时停止它们。在基于 MATH 训练的 Qwen3-1.7B 上，DUET 优于全预算 GRPO 以及其他三种预算感知基线方法。DUET 的优势进一步泛化到数学和编码领域的其他基准，在科学 Q\&A 领域与最佳基线持平，同时实现 $1.62\times$ 的实际加速。更值得注意的是，仅使用 50\% 的 token 预算，DUET 仍优于所有基线方法在其全预算下的表现，相比全预算 GRPO 实现了更高的 $2.51\times$ 加速。我们在其他骨干 LLM 上验证了 DUET 的高性能，包括 Qwen3-4B 至 14B 以及 Llama-3.2-3B-Instruct。值得注意的是，随着预算收紧，DUET 与最强基线之间的差距\emph{扩大}，这与高效方法通常随计算减少而牺牲质量的模式相反。更广泛地说，这些结果表明，DUET 的预算感知控制策略不仅对加速训练有价值，而且对提升学习信号的质量也有价值。
| 评论： | 第四十届神经信息处理系统年会（NeurIPS 2026） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.08441 [cs.LG] |
| （或 arXiv:2605.08441v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.08441 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haoyu Hu [查看邮箱]
[v1]
2026年5月8日星期五 20:03:19 UTC（360 KB）
[v2]
2026年10月28日星期三 20:07:46 UTC（422 KB）
来源：arXiv cs.AI · arxiv.org