PyTorch 为 TorchTitan 引入 Zephon 弹性数据加载

PyTorch 为 TorchTitan 引入 Zephon 弹性确定性数据加载方案，用基于数据配方（数据集、混合权重及 packing、shuffling、并行设置）构建的 Zephon Pipeline 替换 TorchTitan 默认数据加载器，训练运行的其他部分保持不变；该方案在训练任务内即时完成 tokenize、pack、shuffle 和 mix，无需预处理语料副本。 PyTorch 博客称，在 16 GPU 上训练 1B 参数模型至 step 150 后改用 8、32、64 GPU 恢复训练，Zephon 的 loss 曲线与基线重合，每个 global batch 的 SHA-256 哈希均匹配。仓库另附仅用 CPU 的演示（对数据流做 checkpoint、在不同数量数据并行副本上恢复并校验每个全局 step 与不中断运行一致）和一个用真实但很小模型做同样验证的 GPU smoke test。 使用时需选择预期数据并行规模的公倍数，且数据、tokenizer、seed、mixture、上下文长度和全局 batch size 都必须保持不变。该来源称，不同 GPU 数量下全局 batch 将完全一致，loss 会非常接近但可能不完全相同，因为训练循环中的浮点归约顺序仍取决于参与分担工作的 GPU 数量。

AI 根据报道生成 · 1 天前更新