RadarAI· Gorden Sun·· 16 小时前AI 评分38
Thinking Machines Lab 的 BBBK 方案：4 位训练提速且不牺牲准确率
End-to-End 4-Bit Training 切片方案提升模型训练效率
AI 导读
Thinking Machines Lab 在 GB300 平台开发出 BBBK 加速程序，通过前向推理用 4 位 NVFP4、反向更新切回 8 位 MXFP8 的双格式协同，解决 4 位低精度训练的误差积累问题，大幅缩短大模型训练时间且不牺牲准确率。
来源：RadarAI · bestblogs.dev