arXiv cs.AI· Nilesh Prasad Pandey, Jangseon Park, Jason Kong, Onat Gungor, Tajana Rosing·· 11 小时前AI 评分31
NgramRL：用面向 rollout 的 N-gram 推测解码加速结构化生成的 RL 后训练
NgramRL: Accelerating RL Post-Training for Structured Generation via Rollout-Aware N-gram Speculative Decoding
AI 导读
NgramRL 利用同一 prompt 近期 rollout 历史构建 per-prompt n-gram drafter，无需辅助模型或 drafter 训练，即可加速 LLM 的 RL 后训练 rollout 生成。
正文 · AI 翻译
摘要：强化学习（RL）后训练提升了大语言模型的推理能力，但其成本主要来自自回归 rollout 生成，这部分可占训练时间的 70% 以上。现有的推测解码方法难以适配这一场景：基于模型的草稿器会占用稀缺的 GPU 显存，且可能随着策略演化而失配；而现有的无模型方法未显式利用跨训练轮次的重复性。我们观察到，同一提示词近期的 rollout 可提供高质量、可自我更新的草稿来源。基于这一洞察，我们提出 NgramRL，一种基于有界近期 rollout 历史、按提示词构建的 n-gram 草稿器。NgramRL 无需辅助模型、草稿器训练或常驻 GPU 的草稿器状态，同时目标模型验证可保持 rollout 分布不变。为隐藏 CPU 缓存查找与调度开销，我们进一步引入自适应扇出预取器，用于预测可能的验证结果 (j, b)，其中 j 为接受的草稿长度，b 为目标模型输出的续写 token。因果预算分配器将预取集中于高概率结果，而未覆盖的结果回退到顺序查找，且不改变已提交的 token。在两个模型系列和三种推理与结构化生成工作负载上，NgramRL 在热缓存场景下每次目标模型前向可提交 3.60-7.77 个 token，比 SuffixDecoding 最多高 1.99 倍，比 prompt-lookup decoding 高 7.0 倍。在 Spider 上，预取器在候选预算为 16 时覆盖了 Qwen3-8B 的 96.6% 结果，并将实测 rollout 吞吐量相比同步 NgramRL 提升 1.38 倍，接近其 1.40 倍的重叠上限。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32881 [cs.AI] |
| （或 arXiv:2610.32881v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32881 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nilesh Prasad Pandey [查看邮箱]
[v1]
2026年10月23日星期五 16:47:29 UTC（1,751 KB）
来源：arXiv cs.AI · arxiv.org