arXiv cs.AI· Andrew Gao, William Gao·· 1 天前AI 评分48
bf16 舍入静默丢弃大部分 RL 策略更新：一种隐藏的训练-推理不匹配与一行代码的无偏修复
bf16 Rounding Silently Discards Most RL Policy Updates: A Hidden Training-Inference Mismatch and an Unbiased One-Line Fix
AI 导读
语言模型 RL 后训练中，bf16 舍入会丢弃小于半个 bf16 间距的更新，Qwen3-1.7B 上每步仅 0.4-0.5% 的权重发生变化，生成数据的策略落后优化器 50-150 步。
正文 · AI 翻译
摘要：语言模型的强化学习（RL）后训练在优化器中保留 fp32 主权重，并用 round-to-nearest 转换生成的 bf16 副本提供 rollout。在常用的学习率下，大多数单步更新小于半个 bf16 间距，转换会将其丢弃：在 Qwen3-1.7B 上，每步只有 0.4-0.5% 的已服务权重发生变化，生成训练数据的策略比优化器滞后 50-150 步。现有的不匹配校正无法看到这种滞后，因为它们比较的是同一舍入下游的两个副本。我们提出 Fair Cast：用无偏舍入规则（随机舍入或误差反馈）导出主权重，并在已服务副本上计算训练损失。这一改动只是在导出调用处加一行，不增加超参数，导出 1.7B 参数每次耗时 22-38 ms。在 Qwen3-0.6B 到 4B 上使用 AdamW 和 Muon 的 25 对匹配种子中，Fair Cast 在 18 对上领先、6 对持平、1 对落后，平均提升 6.1 分；在斑马谜题上，四次运行达到 0.57 +/- 0.16，而 round-to-nearest 则跌至 0.33 +/- 0.10。它还使保存的 fp32 检查点与已服务模型一致，并将 round-to-nearest 的隐式滞后暴露为一种正则化器，在任务需要时可以显式恢复。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41073 [cs.LG] |
| （或本版本的 arXiv:2610.41073v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.41073 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrew Gao [查看邮箱]
[v1]
2026年10月29日 星期四 23:40:32 UTC（2,250 KB）
来源：arXiv cs.AI · arxiv.org