arXiv cs.CL· Yuhang He, Hongyu Ge, Zihan Lin, Siyi Liu, Yongqi Zhang·· 6 天前AI 评分23
S³R：通过自稀疏推测解码实现快速且忠实的 RL rollout
S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding
AI 导读
针对长上下文 RLVR 中注意力占自回归解码内核时间 72–76% 的问题，研究者提出自稀疏推测 rollout（S³R），用稀疏注意力提议 token、再经全注意力验证与精确推测采样生成响应，使响应组仍服从稠密策略分布。在 Qwen3 上，S³R 将长上下文数学推理的端到端训练吞吐提升至自回归 rollout 的 1.39×–1.35×，任务表现相当。
正文 · AI 翻译
摘要：面向可验证奖励的长上下文强化学习（RLVR）的快速 rollout 生成，需要在不变更用于策略优化的响应组的前提下减少 KV-cache 流量。在我们分析的 RLVR 工作负载中，注意力占自回归解码内核时间的 72--76\%。稀疏注意力减少了这些读取，但直接从稀疏策略采样会改变用于学习的响应组。对于组相对优化，我们表明即使精确的按响应重加权通常也无法恢复期望的稠密策略更新，因为每个响应的优势取决于组内其他成员的奖励。我们提出自稀疏推测 Rollout（S$^3$R）。它使用稀疏注意力提出 token，然后通过全注意力验证和精确推测采样生成响应。起草和验证共享同一策略参数，无需训练或更新单独的起草器。由此得到的响应组遵循稠密策略分布。在 S$^3$R 下，我们刻画了加速条件以及起草和验证的成本。我们发现稠密验证仍然需要完整的历史 KV cache。因此，一个 KV 感知调度器在保持 rollout 并行性的同时，限制 KV-cache 的重复卸载和恢复。% OR thrashing 在采用激进稀疏起草预算的匹配消融实验中，S$^3$R 保持稳定训练，而带有训练侧校正的直接稀疏采样变得不稳定。在长上下文数学推理上，S$^3$R 在 Qwen3 模型上实现了自回归 rollout 端到端训练吞吐量的 $1.39\times~1.35\times$，且任务性能相当。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13202 [cs.LG] |
| （或 arXiv:2610.13202v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13202 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhang He [查看电子邮件]
[v1]
2026年10月9日星期五 08:22:40 UTC（6,766 KB）
来源：arXiv cs.CL · arxiv.org