arXiv cs.AI· Yijing Ke, Tianle Cai, Ruosong Wang·· 14 小时前AI 评分32
对齐舍入位置可稳定 LLM 强化学习：RoPE、SwiGLU 与 RMSNorm 的 BF16 精度实验
Where Rounding Happens Matters: Rounding-Location Alignment Stabilizes LLM Reinforcement Learning
AI 导读
研究发现，将训练侧在 RoPE、SwiGLU 和 residual RMSNorm 三个区域的舍入位置与推理侧对齐，可防止默认 BF16 基线下的训练崩溃。在四个 Qwen 系列模型上，三区域全部对齐有效，仅对齐 RoPE 路径也足以稳定训练，且无需改动推理引擎、矩阵乘与注意力 kernel 及学习目标。
正文 · AI 翻译
摘要：大语言模型的强化学习通常将推理与训练分置于不同系统。即便权重与 BF16 张量完全相同，实现差异也可能使本应 on-policy 的更新变为 off-policy，从而破坏训练稳定性。现有补救措施要么对齐整个推理与训练栈，要么改变全局精度，要么修改学习算法。我们提出的问题是：在其他实现差异仍然存在的情况下，仅对齐执行栈中选定的部分，能否稳定 BF16 强化学习？我们将训练侧的舍入位置与推理对齐，涉及三个区域——RoPE、SwiGLU 和残差 RMSNorm——做法是保留选定的中间结果为 FP32，直到其 BF16 输出。在四个 Qwen 系列模型上，对齐全部三个区域可避免默认 BF16 基线中观察到的崩溃；在所研究的运行中，仅对齐 RoPE 路径也已足够，尽管仍存在数值差异。这些干预保持推理引擎、矩阵乘法与注意力内核以及学习目标不变。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.32951 [cs.LG] |
| （或 arXiv:2610.32951v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32951 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yijing Ke [查看邮箱]
[v1]
2026年10月23日星期五 17:45:03 UTC (1,307 KB)
来源：arXiv cs.AI · arxiv.org