Meta 与 vLLM 在 TPU v7 上将 0.6B 模型 RL 全周期从约 100 分钟降至 56 秒
Reinforcement Learning: Optimizing 0.6B Dense Models on TPU v7 via vLLM
Meta 与 vLLM 团队在 64 芯片 Google Cloud TPU v7 上优化 Qwen3-0.6B 的 GRPO 训练,把 rollout 到权重更新的完整周期从约 100 分钟降到 56 秒(20 步中位数 57.9 秒),解码吞吐从约 4K 提升到约 183K tokens/s,同时保留 8,192 token 的完整回复预算。
Meta 与 vLLM 团队公开了在 TPU v7 上优化 0.6B 小模型 RL 全流程的完整路径,包括已合并的 PR 和可复现配置。
作者 —
ASA:Loki Chen、Yang Song、Hongye Xie、Ming Lei、Greg Rehm、Chongyang Bai、Dre Olgiati、Bob Kamma、Tej Choudhary、Hang Cui、Imed Zitouni、Hamed Firooz。
Ranking AI Research:Mingfu Liang、Kavosh Asadi、Yufei Li、Frank Shyu、Parish Aggarwal、Senthil Manickavelu、Xi Liu、Luke Simon。
要点
- 在小规模稠密模型的强化学习中,解码调度、同步、注意力几何结构和 KV 缓存生命周期成为首要瓶颈。
- 我们在开源 TPU 技术栈(vLLM、Tunix、MaxText 和 Pallas)上进行了协同设计,并将改动向上游提交,因此 Google Cloud TPU v7 上的开发者可以使用已合并的 tpu-recipes 配方以及 附录 B 中列出的标志,直接达到 56 秒(约 183K tokens/s)的路径,而无需重复我们的启动工作。
- 在 Google Cloud TPU v7 上,完整的 rollout 到 update 循环快了 107 倍,从约 100 分钟降至约 56 秒,同时保持完整的 8,192 token 响应预算。
为什么小模型对研究很重要
生成式推理正在重塑排序和决策系统的工作方式。GR2(Generative Reasoning Re-ranker)[arXiv:2606.31984] 等模型已经证明,生成式推理可以显著提升重排序质量。下一个问题是:对于大规模排序和决策系统,策略模型可以小到什么程度而不失去这种生成式推理能力?
一个从更强教师模型蒸馏而来的 0.6B 稠密学生模型可以以低得多的延迟和成本提供服务,从而实现更广泛的流量覆盖、更快的模型刷新,以及每天更多的 RL 实验。这要求整个训练循环足够快,而模型 FLOPs 只是其中一部分。在 0.6B 参数规模下,rollout 生成、同步和框架开销占用的实际耗时比例越来越大。
由于 0.6B 模型每层的矩阵运算量远少于前沿稠密模型或 MoE 模型,固定系统开销(主机调度、同步和 KV 缓存生命周期)将瓶颈从 FLOPs 转移到了协调上。
研究挑战

我们在 64 芯片的 Google Cloud TPU v7(Ironwood)切片上对一个 0.6B 参数模型运行了 RL。该模型的权重远少于通常驱动分布式训练工作的大型稠密和混合专家系统,而其小尺寸使该工作负载难以高效运行。
对于大型稠密或 MoE 模型,每一层都会执行足够的矩阵计算,因此设备利用率通常由那些熟悉的问题主导:如何分片参数、移动激活、路由专家,以及让大型矩阵单元保持忙碌。这些问题很难,但其成本会随模型规模明显扩展。
小稠密模型改变了这种平衡。每台设备上的有效矩阵工作量缩小了,但许多固定成本并未减少:
- 主机仍然要调度解码迭代;
- 每个 token 仍然要经过注意力栈;
- 每一层仍然要启动或进入编译后的内核;
- 每个 rollout 步骤仍然要更新和同步权重;
- 运行时仍然要跟踪数千个序列及其停止条件;
- RL 循环仍然包括奖励计算、训练、缓存失效和分布式编排。
随着模型变小,这些固定成本在每一步中所占的比例越来越大。几毫秒的调度开销、过大的注意力计算块,或每次更新时重复的缓存分配,都可能主导我们原本希望 TPU v7 执行的工作。
因此,小型稠密模型的强化学习是一种对协调敏感的工作负载,有其自身的瓶颈,并且受益于硬件-软件-模型协同设计。
为什么协同设计很重要

与任何分布式加速器栈一样,第一步是将基本配置参数(并行度、批并发、mesh 形状和 HBM 限制)与我们的工作负载几何对齐,以建立干净的基线。其余瓶颈位于开源栈更深处,并且特定于具有频繁 on-policy 权重同步的长上下文、高并发小模型强化学习。
然后我们对完整的 RL 循环进行了性能分析,识别了每个新瓶颈背后的机制,并向下依次处理 MaxText、Tunix、vLLM/tpu-inference、Pathways/XLA 和 Pallas,分三个阶段:配置调优;跨 XLA 设备循环、Pallas VMEM 流水线和主机-设备调度器的跨栈解码协同设计;以及主机侧开销、KV 缓存生命周期、训练注意力几何和 rollout 形状的全周期优化。配置调优在约 30K tokens/s 处趋于平稳,解码协同设计将全批解码速率提升至约 130.5K tokens/s,最终配置在整个 rollout 上平均维持约 183K tokens/s。
在整个过程中,我们保持模型、GRPO 配方、每步完成数和 8,192 token 响应上限不变(提示上限更改过一次;见基准测试方法),并将快速路径上游化。大多数是可选设置;附录 B 列出了最终配置使用的设置。
基准测试方法和数据集
由于 Meta 的专有 Ads 排序和生成式推荐(GR)模型以及用户交互日志无法公开共享,我们使用 Qwen3-0.6B 在公开数学推理提示上构建了一个开放、可复现的基准代理。它镜像了生产生成式排序的系统几何:一个紧凑的亚十亿参数稠密策略,在数千个并发候选上生成长期多步推理轨迹(最多 8,192 个 token)。
我们的头条工作负载是 Qwen3-0.6B 组相对策略优化(GRPO)true-8K:256 个提示 × 8 次生成(每次 rollout 2,048 个完成),最多 8,192 个生成 token,BF16,以及同步 on-policy 执行。启动和第一阶段至第二阶段里程碑(最多 299 秒)在 NuminaMath 和 OpenMath 提示上以 16,384 token 提示上限(24K 最大上下文)运行。从 88 秒里程碑开始,运行使用 OpenMathInstruct-2(train_1M),提示上限为 4,096 token(12,288 token 上下文)。模型、GRPO 配方、每步完成数和 8,192 token 响应上限相同,并且两者中的真实提示都很短(NuminaMath 约 170 token,OpenMathInstruct-2 平均 149 token),因此每步生成的工作量相当;更大的提示上限主要为每个序列保留更多 KV 容量。我们报告稳态完整周期挂钟时间,不包括编译、预热和检查点写入。我们在整个过程中跟踪 rollout 吞吐量和全周期延迟,然后使用受控消融来隔离各个机制。
指标定义。步时间是一次完整 rollout 到更新周期的稳态墙钟时间(TensorBoard perf/train/global_step_time,20 步运行中第 3 步及之后的中位数);对于最终配置,头条的 56 s 是其最快的稳态步(p10 55.7 s),而中位数为 57.9 s。解码吞吐(tokens/s)仅统计生成的(补全)token,不含 prefill,并在整个 64 芯片切片上聚合。对于 299 秒之前的里程碑,它是在受控运行中测得的全批量解码速率。对于 88 秒里程碑和最终配置,它是一次 rollout 生成的 token 数除以整个 rollout 阶段(68 s 内约 9.2M token;49.1 s 内约 9.0M token),其中包含低占用尾部,因此是全批量速率的保守下界。
里程碑一览。Rollout 主导了每一步。直到 299 秒里程碑,它占该步的 80–90%,因此这些行给出的是近似(~)阶段时间;88 秒和最终拆分则来自各阶段步计时器。299 s 及之前的行使用 16K 提示上限契约;88 秒和最终行使用 4K 提示上限契约(见基准测试方法)。
| 里程碑 | 步时间 | 解码吞吐 | Rollout | 其他所有 |
|---|---|---|---|---|
| 未调优启动 | ~6,000 s | ~4K tok/s | ~5,100 s | ~900 s |
| 配置与 mesh 调优 | 1,260 s | ~30K tok/s | ~1,070 s | ~190 s |
| 受控基线(同址部署,TP/DP 重新平衡) | 616 s | ~30K tok/s | ~525 s | ~90 s |
| + Continue Decode | 369 s | ~64.9K tok/s | ~315 s | ~55 s |
| + RPA 块拆分 + EOS 检查间隔 | 299 s | ~130.5K tok/s | ~255 s | ~45 s |
| + 连续批处理解码、分片采样、奖励池、打包、GC 控制 | 88 s | ~135K tok/s | 68 s | 20 s(训练 8 s,权重同步 7 s) |
| 最终配置(TP1×DP128) | 56 s 最快稳态步(p10 55.7 s);57.9 s 为 20 步中位数 | ~183K tok/s | 49.1 s | 8.4 s |
在最终配置中,一次 rollout 生成约 9.0M token(2,048 次补全 × 平均补全长度约 4.4K;27.8% 的补全达到 8,192 token 上限),中位阶段时间为 rollout 49.1 s,训练、权重同步、奖励和缓存生命周期合计 8.4 s(85% 为 rollout)。
在 Google Cloud TPU v7 上优化
我们在 64 芯片 Google Cloud TPU v7(4×4×4)切片上运行了真正的 8K 参考工作负载,使用 TP1×DP128 rollout 并行:128 个独立的 vLLM 引擎,每个 TPU 设备一个(每芯片两个),每个引擎持有完整的 0.6B 模型(BF16 下 1.2 GB)和全部八个 KV 头,请求通过轮询数据并行路由分散到各引擎。在项目早期,我们使用 4 路张量并行来汇集 HBM 用于 KV 缓存;向 TP1×DP128 的迁移在第三阶段量化。完整步骤包括:
- rollout 生成;
- 奖励计算与优势构建;
- MaxText 训练;
- 策略权重同步;
- KV 缓存和请求状态生命周期;
- 为下一次 rollout 做准备。
我们有意从串行全批量设计开始。它使策略所有权、权重版本、缓存失效和计时边界都显式化。Pathways 管理多主机 mesh 和内存内转换,而学习器和采样器在整个周期内共享 64 芯片资源。后来我们启动了一个异步 RL 原型,但将主要性能阶梯保持在串行路径上,以便计时边界保持显式,并可在不增加硬件的情况下比较各项优化。
以下所有里程碑均反映稳态步骤。为了将亚秒级内核和运行时差异与集群拓扑差异隔离开来,我们使用了专用切片和同窗口对照。
第一阶段:对齐基础工作负载配置,以建立合适的基线
我们最初未经调优的启动(2,048 个同步 24K 上下文 rollout,在网格规模确定或连续设备端解码之前)产生了大约 4K rollout tokens/s,即每个完整 RL 周期约 100 分钟。在修改任何运行时或内核代码之前,我们调优了现有技术栈的配置空间。
工作包括:
- 张量和数据并行网格扫描;
- rollout 批大小和并发度;
- 最大活跃序列数和 token 预算;
- HBM 分配和主机内存限制;
- 提示和响应几何结构;
- 采样器和训练器资源平衡;
- Pathways JobSet 放置、编译、检查点和暂存行为。
第一阶段将解码吞吐量从大约 4K 提升到约 30K tokens/s(7.5 倍),并将完整周期从约 100 分钟(6,000 秒)缩短到 21 分钟(1,260 秒,4.8 倍)。随后通过共置和 TP/DP 主机网格再平衡,我们建立了 616 秒的受控基线,并进入技术栈协同设计。
这些步骤将基础配置参数(网格拓扑、批并发度和 HBM 限制)与 24K 上下文、2,048 次 rollout 的工作负载形态对齐。缓慢的起点来自尚未针对此工作负载形态调优的配置;修复它为我们提供了正确配置的基线,并暴露了真正的运行时瓶颈。
解码吞吐量的提升远大于完整周期延迟:全批解码速率只是 rollout 时间的一部分,预填充、主机返回以及长补全的低占用尾部并未随之加速。
第二阶段:跨栈解码协同设计,从 MaxText 和 vLLM 到 XLA 和 Pallas
在大约 30K tokens/s 时,配置扫描不再有收益。性能分析显示,TPU v7 上的设备执行每个解码步骤仅需毫秒级时间,而端到端 rollout 时间主要受主机-设备调度往返、Flax NNX 路径上的 XLA 编译和运行器开销,以及 24K token 上下文下 Pallas 内核流水线停顿的支配。
第二阶段的变更落在 tpu-inference 和 MaxText 中(PR 见本阶段末尾的表格),并沿以下执行路径起作用:
MaxText → Tunix → vLLM/tpu-inference(Runner 和 Scheduler)→ Ragged Paged Attention(RPA v3)/Pallas → Pathways/XLA
此阶段将稳态解码吞吐量(在 2,048 次同步 rollout 中,每个序列最多关注 24K 上下文 token)提升到约 130.5K tokens/s(是 30K 运行点的 4.35 倍),将受控阶梯中的完整步骤延迟从 616 秒缩短到 299 秒。
跨 Flax NNX、vLLM 和 XLA 编译多步设备解码循环
自回归解码在 token 之间是顺序的,但对每个 token 重新进入 Python 主机调度器对于 0.6B 模型来说代价过高:主机-设备调度、请求状态记录和跟踪序列化的固定成本超过了前向传播本身的矩阵计算。
在 vLLM 中,Continue Decode 将许多解码迭代移入单个编译后的 XLA 设备循环,这要求改变 MaxText、Flax NNX 和 tpu-inference 编译及运行该循环的方式。我们修复了 continue_decode 在 flax_nnx 服务路径上的问题,并防止运行时丢弃 XLA 编译选项(tpu-inference #3374),消除了编译线性层之间可变元数据状态的泄漏(tpu-inference #3101),阻止了 vLLM 运行器将步骤过度填充至超过 max_num_batched_tokens(tpu-inference #3466),并将每步请求 ID 跟踪序列化开销限制在 2,048 个并发 rollout(tpu-inference #3510)。
在受控的 MaxText 生产阶梯测试中,这条跨栈路径将一个 616 秒的干净步骤缩短至 369 秒,减少了 40.1%。
这一结果揭示了时间去向:小模型在等待运行时和编译器栈向 TPU v7 MXU 交付不间断的设备工作。
为 24K 上下文缓存拆分 RPA v3 KV 获取与计算块
一旦主机调度开销被摊销,设备端注意力内存移动便成为主要瓶颈。用 Pallas 编写的 Ragged Paged Attention v3(RPA v3)使用双缓冲 VMEM 流水线,将 HBM 到 VMEM 的 DMA 传输与 TensorCore 计算重叠。然而,其默认启发式将 KV 获取块大小和计算块大小耦合为单个整体值(约 16K token)。在我们的 24K 上下文 RL 工作负载上,16K 计算块使 Pallas 双缓冲流水线陷入饥饿:每个计算阶段都必须等待大型 KV 块传输完成,从而降低了 DMA 与 MXU 执行之间的流水线深度。
我们重构了内核接口,在解码、预填充和混合路径中将 HBM 获取几何与 VMEM 计算分块解耦(tpu-inference #3102),并将这些内核控制项通过 tpu-inference MaxText 服务桥接层(tpu-inference #3395)和 MaxText RL 训练器配置(MaxText #5100)向上传递。保持 16,384 token 的 HBM 获取块以最大化突发 DMA 带宽,同时将执行切分为 4,096 token 的 VMEM 计算块,恢复了深度 DMA/MXU 重叠,并将解码吞吐量从 64,929 token/s 提升至 96,273 token/s(+48%)。
内核的默认启发式无法得知此工作负载的块几何结构;将块大小作为设置暴露出来,使我们能够与之匹配。
上述拆分是在 4 路张量并行下测量的。在最终的 TP1×DP128 配置中,每颗芯片持有全部八个 KV 头,因此分块被重新调整为 2,048 token 的解码块(RPA_V3_DECODE_BLOCK_SIZES=1,2048,1,2048,并配有匹配的预填充和混合覆盖;见附录 B):在 TP1 下,4,096 token 的解码块更慢,而 8,192 token 的块超出 VMEM。
在融合解码循环内降低 EOS 检查频率
即使在融合设备循环内部,Continue Decode 仍然在每个 token 步骤执行设备端归约(任一序列命中 EOS)并评估提前退出条件。在 2,048 个并发 rollout 中,这种逐 token 归约在编译循环内造成了不必要的同步屏障。
我们修改了编译循环,在检查关闭时跳过每步的设备端 EOS 归约(tpu-inference #3509),并暴露节奏控制以平衡设备执行与主机调度(tpu-inference #3174),同时逐序列掩码保留了真实的 EOS 边界。
这个间隔是一种权衡:每一步都检查会带来设备端同步开销,而每 32 步检查一次则会延迟返回 vLLM 主机调度器以驱逐已完成的序列并释放批次槽位。8 步的间隔在 XLA 循环不中断执行与调度器及时回收之间取得了平衡。结合 RPA 块拆分,这一改动将步时从 369 秒降至 299 秒的真实 8K 里程碑;我们没有为这两项分别保留独立的步时测量数据。
在最终配置中,我们完全关闭了循环内的 EOS 检查(CONTINUE_DECODE_EOS_CHECK_INTERVAL=0),转而将融合循环延长至每次返回主机调度器前执行 512 个解码步(max_decode_steps=512);逐序列掩码仍然保留每个 EOS 边界(参见 Phase III 中的连续批处理解码窗口)。
Phase II 概览:
| 机制 | PR | 实测影响 |
|---|---|---|
| Continue Decode(编译后的 XLA 解码循环) | tpu-inference #2507、#3374、#3101、#3466、#3510 | 步时 616 s → 369 s(−40.1%) |
| RPA v3 HBM 读取 / VMEM 计算拆分 | tpu-inference #3102、#3395;MaxText #5100 | 解码吞吐 64.9K → 96.3K tok/s(+48%) |
| EOS 检查间隔(8 步) | tpu-inference #3068、#3174、#3509 | 369 s → 299 s,与 RPA 拆分共同作用 |
Phase III:优化整个 RL 循环
当解码达到 130.5K tokens/s 后,其他开销决定了步时:299 秒的步时中大部分仍是 rollout,并因其低占用尾部而被拉长,其余时间则用于 KV 缓存重新分配与权重同步、主机侧 reward/detokenization/GC 开销,以及训练注意力内核。
Phase III 分为两个阶段。第一阶段在 8 月底将步时从 299 秒降至 88 秒(rollout 68 s、训练 8 s、权重同步 7 s)。在 rollout 侧,连续批处理解码窗口通过将已完成的序列作为惰性掩码槽位回收,而不是在 EOS 处退出,从而保持融合循环满载;词表分片采样则从每次解码迭代中移除了全词表 logits all-gather(每个数据并行 rank 约 78 MB)以及 top-k/top-p 扫描。在 rollout 路径之外,实测每步约 30 s 的串行 reward 评分迁移到了进程池,序列打包与可配置垃圾回收则缩短了训练和主机时间。该阶段内各项改动的单独贡献未被隔离测量。4K 提示上限的调整也发生在这里(参见 Benchmark methodology)。随后,KV 持久化、更快的权重同步与 detokenization、Splash Attention 重新调优以及最终的 rollout 配置将其从 88 秒降至 56 秒。
将逻辑缓存失效与物理分配分离
每个 RL 步都会改变策略权重。在旧策略下计算出的 KV 值绝不能对新策略可见。保守的生命周期做法会重置前缀缓存、删除物理 KV 分配、同步权重,然后重新分配缓存。
我们观察到,重置前缀映射已经使所有旧块在逻辑上不可达。当 HBM 余量允许时,物理分配可以在权重更新期间安全保留,即使其内容已失效。下一次 rollout 会在读取这些块之前重新预填充并覆盖它们。
在较早的 TP4 栈上,一条可选的 KV 持久化路径将实测的初始化阶段从约 37 秒缩短到 3 秒。在最终配置上,开启它(free_kv_cache_during_weight_sync=false)仍将 20 步中位数从 60.3 秒降至 57.9 秒。权重同步展开(Tunix #2232)以及去分词和 log-prob 提取与解码的重叠(Tunix #2233)与 KV 持久化一起落在 88 → 56 秒阶段。奖励进程池(Tunix #1904、MaxText #5255)和可配置垃圾回收(Tunix #2086、MaxText #5236)更早落地,处于 299 → 88 秒阶段。
公开实现默认关闭,并且需要两个安全条件:前缀映射必须在每次策略更新时重置,权重重分片不得依赖释放缓存分配来获得 HBM 余量。
针对训练形状重新调优 Splash Attention
训练在 88 秒的步骤中占 8 秒。在 299 → 88 秒阶段启用 RL 序列打包(MaxText #5100)后,我们将训练切换为 flash attention,并针对生产序列几何重新调优 Splash Attention 块大小,通过 RL 训练器命令行上的 MaxText 配置覆盖传入:
attention='flash' \
sa_block_q=1024 sa_block_q_dkv=1024 sa_block_q_dq=1024 \
sa_block_kv=2048 sa_block_kv_compute=2048 \
sa_block_kv_dkv=2048 sa_block_kv_dkv_compute=2048 sa_block_kv_dq=2048 \
sa_use_base2_exp=false在同一时间窗口的对照中,重新调优每步节省约 2 秒。
最终 rollout 配置
下表列出了 88 → 56 秒阶段剩余的变更。部分收益随软件本身而来:在基于上游 head 构建的镜像(包含 Tunix #2232、#2233 和 #2309 以及 MaxText #5235)上原样运行 88 秒启动器,在第二个集群上测得 74 秒,在该镜像上进行启动器调优后完成了剩余部分;集群间差异未单独区分。除非某行另有说明,每项变更都是与较早镜像上的同一时间窗口对照运行进行测量,未在最终镜像上重新测量。KV 持久化行是在最终配置上测量的。
| 变更 | 效果 |
|---|---|
max_decode_steps 128 → 512(每次主机返回的融合解码步数) | rollout 减少约 4 秒(128 → 256:约 1.6 秒;256 → 512:约 2.6 秒) |
| TP4 → TP1×DP128,采用轮询 DP 路由 | 每步约 1 秒(两个受控配对中分别为 −1.3 秒和 −0.9 秒);在 DP128 下,默认的 least-loaded 路由每步约多花 35 秒 |
| 训练用的 flash attention 和 Splash 块大小 | 每步约 2 秒 |
| 跨权重更新的 KV 持久化 | 60.3 秒 → 57.9 秒 20 步中位数 |
奖励工作进程(reward_num_workers=32、math_verify_num_procs=64) | 小 |
| 权重同步展开和去分词重叠(Tunix #2232、#2233) | 未单独隔离 |

哪些没有奏效
该轮工作产生了若干负面结果。我们将其纳入,是因为它们阻止了看似合理但不正确的解释成为路线图承诺。
权重和 KV 字节缩减几乎没有带来解码加速
我们验证了一条仅权重的 INT8 路径,未观察到有意义的解码改进。对于具有长上下文的 0.6B 模型,模型权重在数据移动和固定执行成本中只占很小一部分。
我们还通过检查缓存容量翻倍验证了一条 FP8 KV 缓存路径。延迟结果远小于与带宽成比例的加速。这排除了一种假设:在此工作点上,解码时间取决于 HBM 字节之外的因素。调度、融合、每次迭代的固定成本以及其他内核设定了一个下限,仅靠字节缩减无法消除。
量化在权重或 KV 流量占主导时帮助最大,而当不同的 roofline 控制工作负载时帮助很小。
在生产规模下,共享前缀级联注意力没有带来净收益
同一提示词生成的八个序列看起来是显式共享前缀注意力的理想场景。早期原型在朴素的 JAX 基线上表现良好。但在生产规模下与真实的流水线化 RPA 内核相比,优势急剧下降。组合式前缀/后缀级联测得没有净收益,因为现有的分页注意力路径已经从共享物理页中获得了显著收益,而额外的调用和合并开销消耗了剩余的机会。
这个负面结果避免了一个更大的内核项目。它还强化了一条基准测试规则:在生产镜像上、以生产批次大小与生产内核进行比较,因为数学上等价的参考实现(此处为朴素的 JAX 基线)高估了收益。
更大的训练微批次并没有缩短训练时间
经过内存调优后,更大的训练微批次可以容纳,但将梯度累积循环次数减半并没有减少总训练 FLOPs。步进时间保持不变。同样,更轻量的重计算释放了 HBM,但并没有缩短受计算限制的训练路径。
更短的响应上限收益递减
将响应上限从 8,192 降低到 6,144 消除了一个大的低占用尾部,并达到约 56 秒,但它改变了 RL 配方,因此仍是一个单独的候选方案。进一步将上限降低到 5,120 没有产生可靠的额外收益。此时,训练和设置时间设定了下限。
这是在最终的 Splash 和 rollout 变更之前,在技术栈上进行的一项单独实验。后来的 Splash、KV 持久化、权重同步和最终 rollout 变更在保持真实 8,192 token 上限的同时达到了大致相同的延迟;本文中的每个头条数字都使用完整的 8,192 token 上限。
我们的优化循环
性能曲线来自重复相同的工程循环:
- 测量完整周期。孤立的 tokens/s 有用,但决策指标是 rollout 到更新的时间。
- 分析当前胜出者。每一次成功的优化都改变了阶段分解。
- 形成机制假设。我们追问是什么具体的同步、分配、块形状或数据移动造成了墙钟时间。
- 尽可能一次只改变一个机制;有风险的路径通过环境变量门控并默认关闭。在 299 → 88 秒阶段,多项变更一起落地,并未被隔离。
- 使用专用切片或同窗口对照。集群放置和争用可能压倒微小的增量。
- 验证语义。EOS 边界、策略版本、token/对数概率对齐、有限损失、缓存失效和奖励行为都是性能测试的一部分。
- 积累负面结果。一个关闭了大型工程分支的零结果被视为成功的实验。
- 再次分析。下一个瓶颈很少是一轮之前重要的那个。
我们保留了什么、放弃了什么:
| 变更 | 结果 |
|---|---|
| 继续解码(编译后的 XLA 解码循环) | 已采用:616 秒 → 369 秒 |
| RPA v3 块大小覆盖 | 已采用:TP4 下解码 tok/s +48%;TP1 下 2K 解码块 |
| 每 8 步的 EOS 检查间隔 | 已被取代:在第二阶段拆分 RPA 后为 369 秒 → 299 秒;最终配置关闭该检查(CONTINUE_DECODE_EOS_CHECK_INTERVAL=0),每次主机返回运行 512 个解码步 |
| 跨权重更新的 KV 持久化 | 已采用:在早期 TP4 技术栈上设置时间约 37 秒 → 3 秒;在最终配置上 60.3 秒 → 57.9 秒 |
| 进程池中的奖励评分 | 已采用(299 → 88 秒阶段):串行评分每步约需 30 秒;节省量未单独隔离 |
| 连续批处理解码窗口;词表分片采样 | 用于 299 → 88 秒阶段(贡献未单独隔离);最终配置运行在上游代码上,解码窗口由 CONTINUE_DECODE_EOS_CHECK_INTERVAL=0 覆盖,分片采样仍待上游合入 |
| 序列打包;flash/Splash 重调 | 已采用:Splash 重调后每步约 2 秒 |
| 512 步解码循环;TP1×DP128 配合轮询路由 | 已采用:每步约 4 秒和约 1 秒 |
| 仅权重量化 INT8 | 未采用:解码无显著收益 |
| FP8 KV 缓存 | 未采用:容量 2 倍,延迟收益小 |
| 组合式前缀/后缀级联注意力 | 未采用:生产规模下无净收益 |
| 更大的训练微批次 | 未采用:步时持平 |
| 更短的响应上限(8,192 → 6,144,然后 5,120) | 未采用:6,144 在早期栈上达到约 56 秒,但会改变 RL 配方;5,120 未带来可靠的进一步收益 |
当系统优化暴露出学习瓶颈时
56 秒的结果从原始 0.6B 检查点直接运行 RL,没有 SFT 热启动,这对系统侧构成压力:2,048 个完成中有 27.8% 触及 8,192 token 上限,平均完成长度约 4.4K token。经 SFT 热启动的策略会收敛到更简洁的推理轨迹,因此其训练周期比此处测得的步骤更快(最快 56 秒,中位数 57.9 秒)。
将轻量级格式与任务 SFT 热启动和奖励塑形与在线 RL 后训练(GRPO / Decoupled Clip and Dynamic Sampling Policy Optimization,DAPO)相结合,教会紧凑策略以更短的平均完成长度解决推理和排序任务,这进一步叠加了系统加速。
更短的完成也缩短了 rollout,而 rollout 在最终配置中占步骤的 85%,因此在 RL 后训练中,策略的行为是硬件所看到的工作负载的一部分。
下一步
接下来,我们计划在 Google Cloud TPU v7 上的 vLLM、Tunix 和 MaxText 中开展以下工作:
- 将多阶段 SFT + RL(GRPO/DAPO)配方扩展到更广泛的生成式排序和推理模型家族;
- 自动调优 Pallas RPA v3 和 Splash Attention 启发式,使 DMA/计算块大小和布局根据模型和上下文形状自动选择;
- 上游合入 replay-exact 分片采样,以实现大规模下确定性、可复现的多主机 RL 评估;
- 扩展到 128 芯片(4×4×8)及更大的 TPU v7 切片,以提高 rollout 并发度和解码吞吐;
- 异步与智能体 RL(AgenticAsync),具备严格的策略版本和行为对数概率保证;
- 多程序多数据(MPMD)解耦 rollout 与训练,在专用 TPU 子网格上重叠生成与学习器更新。
我们计划也将这些上游合入,使其无需自定义补丁即可运行。
结论
项目始于一个看似易于运行的小型稠密模型,以及一个耗时约 100 分钟的完整 RL 周期。
配置与网格调优带来了首个 7.5 倍解码吞吐提升。tpu-inference(包括 Pallas RPA v3 内核)和 MaxText 中的解码路径改动将步骤从 616 秒降至 299 秒。rollout 侧的连续批处理解码窗口和词表分片采样,加上奖励进程池、序列打包和 GC 控制,将其降至 88 秒。KV 持久化、权重同步和去分词改动、Splash 重调以及 TP1×DP128 rollout 将其降至 56 秒。
在 Google Cloud TPU v7 的整个项目中,解码吞吐量从约 4K 提升到约 183K tokens/s(最终值是整个 rollout 的平均值,因此这是一个保守的比较),而端到端周期时间从约 100 分钟降至约 56 秒。这相当于吞吐量提高约 46 倍,全周期执行速度提高 107 倍。
附录 A 中的所有运行时、训练器和内核 PR 均已合并到 tpu-inference、Tunix 和 MaxText 中,使用附录 B 标志的 tpu-recipes 配方 可复现 56 秒(约 183K tokens/s)的配置。
致谢
我们感谢 Tianyu Gu (@gutianyu-google)、Alisa Chen、Pysith Vanuptikul、Summer Yang、Hossein Sarshar、Jianting Cao、Weiren Yu 以及 Google Cloud TPU、vLLM、Tunix 和 MaxText 工程团队在共同设计并向上游提交这些优化方面的密切合作。
附录 A — 已合并的上游 PR
以下全部 23 个 PR 均已合并到上游(最后一个于 2026 年 9 月 21 日合并),涉及 vllm-project/tpu-inference、google/tunix 和 AI-Hypercomputer/maxtext,均属于本次优化活动:
vLLM / tpu-inference — 10 个已合并 PR
- #2507 连续解码
- #3068 连续解码 EOS
- #3101 fix(linear):可变默认 kernel_metadata/bias_metadata 字典泄漏状态
- #3102 feat(rpa-v3):解码/预填充/混合块大小的环境变量覆盖
- #3174 feat(continue_decode):融合解码循环中由环境变量控制的 EOS 检查间隔
- #3374 修复 flax_nnx 路径上的 continue_decode 并停止丢弃编译选项
- #3395 在 MaxText 服务路径上转发 RPA v3 块大小覆盖
- #3466 [Runner] 绝不让一个步骤填充超过 max_num_batched_tokens
- #3509 [continue_decode] 当 EOS 检查关闭时跳过每步 EOS 归约
- #3510 [Runner] 限制附加到 execute_model 跟踪注解的请求 ID 数量
Tunix — 7 个已合并 PR
- #1904 为奖励函数添加可选的进程池评估
- #2086 使 RLEngine 中每步的 gc.collect() 可配置
- #2088 在空分析窗口时禁用分析器而不是抛出异常
- #2231 使权重同步前后释放 vLLM KV 缓存变为可选
- #2232 在权重同步中展开扫描层,每个参数一次 jit 调用
- #2233 在 VllmSampler 中使去分词和 logprob 提取与解码重叠
- #2309 修复在 TPU/GPU 上 copy=False 时打包行转换失败的问题
MaxText — 6 个已合并 PR
- #5100 添加 RL 序列打包和 vLLM 块大小调节项
- #5235 使 extract_answer 在响应长度上呈线性
- #5236 将 tunix gc_collect_after_weight_sync 接入 RL 训练器
- #5255 将 tunix reward_num_workers 接入 RL 训练器,并提供可 pickle 的奖励包装器
- #5270 在 SC ragged_gather_reduce v2 内核上恢复 needs_layout_passes=False(修复 main 上的 TPU 单元测试)
- #5289 将 free_kv_cache_during_weight_sync 添加到 RL 配置并转发给 tunix
若干优化同时需要运行时更改和训练器配置:奖励工作进程(Tunix #1904 / MaxText #5255)、GC 控制(#2086 / #5236)和 KV 缓存生命周期(#2231 / #5289)。
附录 B — 如何复现
配方。这套 56 秒配置以合并配方形式发布在 AI-Hypercomputer/tpu-recipes#387(README)中:包含一个 tpu7x 4×4×4 切片对应的 Pathways JobSet 清单、带依赖版本锁定的镜像构建、检查点转换,以及一个步时读取器。它不使用任何源码补丁,因为该数字背后的所有改动都已合并到上游;其验证运行测得步时中位数为 56.94 秒(p10 为 55.2 秒,n = 18)。以下设置与之一致。
软件。全部 23 个 PR 都已包含在 MaxText v0.2.6 中,同时包含其锁定的训练后依赖:Tunix 385551df、tpu-inference 73d7342d、vLLM 5df63a72、JAX/jaxlib 0.11.0 和 libtpu 0.0.44。本文中的数字是在包含相同改动的较早构建上测得的(MaxText 78aa1555、Tunix 28ad56f7、tpu-inference 1224e9fb、vLLM 51da0ca6、JAX 0.11.0、libtpu 0.0.44、Python 3.12)。
硬件。一个 Google Cloud TPU v7 4×4×4 切片(64 个芯片,16 台主机),由 Pathways 管理多主机 mesh。
工作负载。Qwen3-0.6B、OpenMathInstruct-2 train_1M、GRPO,每步 256 个提示 × 8 次生成,运行 20 步,步时取第 3 步及之后各步的中位数。
环境变量(tpu-inference):
export RPA_V3_DECODE_BLOCK_SIZES="1,2048,1,2048"
export RPA_V3_MIXED_BLOCK_SIZES="512,1024,256,512"
export RPA_V3_PREFILL_BLOCK_SIZES="512,1024,256,512"
export CONTINUE_DECODE_EOS_CHECK_INTERVAL="0"
export DP_SCHED_ROUTING=round_robinMaxText RL 训练器命令,从 MaxText 仓库根目录运行(用 load_parameters_path=... 添加你的检查点路径):
PYTHONPATH=src python3 -m maxtext.trainers.post_train.rl.train_rl src/maxtext/configs/post_train/rl.yml \
model_name=qwen3-0.6b tokenizer_path=Qwen/Qwen3-0.6B \
dataset_name=nvidia/OpenMathInstruct-2 train_split=train_1M \
hf_train_files='hf://datasets/nvidia/OpenMathInstruct-2/data/train_1M-*.parquet' \
batch_size=256 rl.num_generations=8 \
rl.grpo_beta=0.0 rl.grpo_epsilon=0.2 rl.epsilon_high=0.28 learning_rate=1e-6 \
max_prefill_predict_length=4096 max_target_length=12288 kv_cache_buffer=4352 \
decode_sampling_temperature=0.8 decode_sampling_top_k=50 decode_sampling_nucleus_p=0.95 \
rollout_data_parallelism=128 rollout_tensor_parallelism=1 \
max_num_seqs=256 max_num_batched_tokens=33280 hbm_utilization_vllm=0.3 \
vllm_block_size=128 enable_prefix_caching=false async_scheduling=False \
vllm_additional_config='{"enable_continue_decode": true, "max_decode_steps": 512}' \
max_seq_token_per_tpu=12288 train_micro_batch_size=32 \
free_kv_cache_during_weight_sync=false gc_collect_after_weight_sync=false \
reward_num_workers=32 math_verify_num_procs=64 \
attention=flash \
sa_block_q=1024 sa_block_q_dkv=1024 sa_block_q_dq=1024 \
sa_block_kv=2048 sa_block_kv_compute=2048 \
sa_block_kv_dkv=2048 sa_block_kv_dkv_compute=2048 sa_block_kv_dq=2048 \
sa_use_base2_exp=false启用 Continue Decode 时保留 async_scheduling=False,因为融合设备循环路径需要同步主机调度。
来源:vLLM Blog · vllm.ai