arXiv cs.AI· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·· 11 小时前AI 评分38
在 MXFP4 中训练 MoE LLM：我们如何缩小与 BF16 的差距
Training an MoE LLM in MXFP4: How We Closed the Gap to BF16
AI 导读
开源训练方案 ALTO 让 200 亿参数的 MoE 模型 GPT-OSS-20B 在 MXFP4 格式下训练，C4 验证损失为 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无 de-oscillation 的 MXFP4（3.3418）约 50% 的差距。
正文 · AI 翻译
摘要：以低于 8 位的算术精度训练大语言模型（LLM）有望在内存带宽和计算吞吐量上带来显著收益，但 FP4 格式引入的量化误差严重到若不加以处理就会破坏优化稳定性。我们提出 ALTO，这是一套面向 GPT-OSS-20B（一个 200 亿参数的混合专家（MoE）模型）的开源训练配方，基于 MLPerf Small MoE Training 基准，采用 MXFP4 微缩放格式。该配方结合了 Abecassis, Felix 等人 [arXiv:2509.25149] 的既有技术（混合 1D/2D 块量化、随机 Hadamard 变换和随机舍入），以及改编自 TetraJet-v2 [arXiv:2510.27527] 的简化权重去振荡方案。在全局批大小为 16 的 C4 验证集上，MXFP4 + RHT + SR + 去振荡在 16,128 步时达到 3.3350 的验证损失，仅比 BF16 基线（3.3283）高 0.007，弥补了未使用去振荡的 MXFP4（3.3418）所留下差距的约 50%。以达到 MLPerf 质量目标（验证损失 3.34）所需的步数衡量，去振荡将 FP4 相对于 BF16 的收敛开销从 +20.0% 降至 +5.0%。我们还报告了来自差分梯度估计、离群值裁剪和宏块缩放的负面端到端结果，尽管每一项都显示出算子级别的 SNR 增益。所有实验均在 AMD MI300 硬件上使用模拟的 MXFP4 内核，且未对实际运行时间进行优化。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32229 [cs.AI] |
| （或 arXiv:2610.32229v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32229 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Han Wang [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 06:40:21 UTC（280 KB）
来源：arXiv cs.AI · arxiv.org