arXiv cs.CL· Nhat Minh Pham, Duy Tung Doan, Quang Huy Phung, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui·· 3 天前AI 评分23
SPARK：在投机式 GRPO rollout 中从验证反馈中学习
SPARK: Learning from Verification in Speculative GRPO Rollouts
AI 导读
SPARK 是一种轻量自适应机制，利用目标模型的验证反馈在生成过程中修正 draft 模型预测，以加速 GRPO 训练中的投机式 rollout。在 21 个模型-数据集设置上平均，SPARK 相比 EAGLE3 风格和 DFlash 风格基线，生成加速分别提升 32.7% 和 11.4%，端到端 GRPO 训练加速分别提升 32.2% 和 8.5%。
正文 · AI 翻译
摘要：组相对策略优化（GRPO）已成为提升大语言模型推理能力的标准方法，但其训练成本高昂，因为每一步都需要生成大量长推理响应。近期方法使用推测解码来加速 rollout，即由草稿模型提出 token，再由目标模型进行验证。然而，我们发现草稿模型在同一响应内以及同一 GRPO 组内的不同响应间会反复漏掉相同的 token，而针对这些漏掉的验证反馈在 rollout 期间并未用于更新草稿模型。受此分析启发，我们提出了 SPARK，一种轻量级自适应机制，旨在增强推测式 GRPO 训练中使用的草稿模型。SPARK 利用目标验证反馈在生成过程中改进草稿预测，同时保留其现有训练流程。在 21 种模型-数据集设置上平均而言，相比 EAGLE3 风格和 DFlash 风格基线，SPARK 将生成加速分别提升 32.7% 和 11.4%，将端到端 GRPO 训练加速分别提升 32.2% 和 8.5%。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.04962 [cs.LG] |
| （或使用 arXiv:2608.04962v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.04962 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tung Doan [查看邮箱]
[v1]
2026年8月5日星期三 15:32:27 UTC（1,159 KB）
[v2]
2026年10月14日星期三 04:53:03 UTC（311 KB）
来源：arXiv cs.CL · arxiv.org