FlashNext-RL：面向 Qwen3.8-Flash-Next 长程智能体 RL 的系统优化研究

查看 PDF HTML（实验性）

摘要：长程智能体强化学习（RL）既需要高效的 rollout 生成，也需要在长序列上进行训练。然而，Qwen3.8-Flash-Next 的内存需求和模型专用算子使现有开源实现难以做到这一点。为解决这些限制，我们推出 FlashNext-RL，这是一个基于 prime-rl 的模型专用 RL 训练优化框架，并使用 vLLM 进行软件工程（SWE）rollout 生成。我们的主要关注点是在单个 8xB200 节点上对完整的 48 层模型进行 BF16 训练，其中前两层、n-gram 表、稀疏注意力索引器和多 token 预测头被冻结。我们优化了主机卸载、梯度累积，以及混合专家、稀疏注意力和门控残差流的 kernel。在全模型开发研究中，非填充训练吞吐量从初始 32K token 配置下的约 395 tokens/s/GPU 提升到优化后 131K token 配置下的 4,438 tokens/s/GPU，硬件 matmul 吞吐量（即不考虑注意力组件成本）从约 20 TFLOPs/GPU 提升到 213 TFLOPs/GPU。在 8 层模型上进行的受控累积研究进一步量化了各项单独优化的贡献。结合三个推理节点，该系统支持一次实时 SWE RL 运行，目标批次为 1,024 个可训练 rollout，上下文上限为 131,072 个 token。在第 5-15 步中，一次迭代平均耗时 22.4 分钟，熵和训练器-采样器失配 KL 均保持有界。这些结果凸显了根据模型架构、内存布局和 kernel 需求定制 RL 训练的重要性，而不是仅依赖通用 RL 基础设施。

评论：	24 页，5 幅图，16 张表
主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.28998 [cs.LG]
	（或 arXiv:2610.28998v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.28998 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Zhewei Yao [查看电子邮件]
[v1] 2026 年 10 月 20 日星期二 23:53:09 UTC（73 KB）