SkyRL 将 GLM-5.3-Flash 单序列训练扩至 100 万 token

SkyRL 通过四类系统优化，在 B200（约 178 GiB）上把 GLM-5.3-Flash 的单序列训练长度做到 100 万 token，峰值显存约 144.5 GiB，约为开箱 Megatron 基线的 64 倍。 代价与取舍：层输入 offload 到 CPU 后，256k 峰值从约 142 GiB 降至约 98 GiB，但步时约增 21%，512k 以上几乎必需；1M 时仅 offload 输入、在 CP 前约 180 GB/GPU，8 卡节点主机内存超过 1 TB。CP 仅在单序列装不下时开启：512k 无 CP 聚合吞吐约 18.2k tok/s，1M 加 CP2 约 13.7k。MoE combine 在 2 个 expert-TP rank 时用 bf16 reduce-scatter（NCCL 内部仍做一次 fp32 加），省一半通信与拷贝；更多 rank 或 NVLS 仍用 fp32。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。