开源 MXFP4 训练配方 ALTO 缩小与 BF16 差距
热点事件持续更新
开源 MXFP4 训练配方 ALTO 缩小与 BF16 差距
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Han Wang 等作者发布开源训练配方 ALTO，让 200 亿参数的 MoE 模型 GPT-OSS-20B 在 MXFP4 格式下训练。在 MLPerf Small MoE Training 基准上，其 C4 验证损失为 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无 de-oscillation 的 MXFP4（3.3418）约 50% 的差距。 作者称，所有实验均在 AMD MI300 硬件上使用模拟的 MXFP4 内核，实际运行速度尚未优化。
AI 根据报道生成 · 55 分钟前更新
最新进展10月26日 12:00
在 MXFP4 中训练 MoE LLM：我们如何缩小与 BF16 的差距报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AI在 MXFP4 中训练 MoE LLM：我们如何缩小与 BF16 的差距
开源训练方案 ALTO 让 200 亿参数的 MoE 模型 GPT-OSS-20B 在 MXFP4 格式下训练，C4 验证损失为 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无 de-oscillation 的 MXFP4（3.3418）约 50% 的差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。