arXiv cs.CL· Avichal Sahai (Ofbusiness), Nishant Raj (Ofbusiness), Animesh Srivastava (Ofbusiness)·· 3 天前AI 评分44
三值语言模型导出中的 bf16 转换问题：低学习率代码改动为何被回退
Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
AI 导读
对 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三值语言模型导出流程审计发现，文档化的 bf16 转换会大幅回退微调效果：Falcon-E-1B-Base 的 GSM8K 严格准确率从 58.79% 降至 0.78%。
正文 · AI 翻译
摘要：BitNet b1.58、Falcon-E 和 BitCPM 等三值语言模型使用更高精度的潜在权重进行微调，并作为三值代码部署，这些代码由导出步骤生成；在各实验室记录的流程中，该步骤首先将潜在权重转换为 bf16。我们审计了三个实验室的这些流程。在已发布的检查点中，对交付的潜在权重进行 fp32 量化，与部署代码在 Falcon-E 和 BitCPM 中有 0.83-1.77% 的代码不一致，在 BitNet 2B-4T 中有 1.530% 不一致；对于 Falcon-E 和 BitCPM，大多数不一致是 bf16 舍入恰好落在阈值上的乘积，而 ties-to-even 将其映射为零，并且未修改的 onebitllms 导出器逐字节复现了全部四个 Falcon-E 版本。在微调终点，当学习率选择为匹配标称的学习率与 bf16-ULP 比率时，所记录的导出将 Falcon-E-1B-Base 的贪婪 GSM8K 严格准确率从 58.79% 降至 0.78%，将 BitCPM-CANN-0.5B 的严格准确率从 36.13% 降至 0.39%，而 bf16 保存并重新加载将 BitNet 2B-4T 的严格准确率降低了 27.54 个百分点，同时其最后数字准确率上升。两种兼容性补救措施——直接写入训练量化器的代码，或调整 bf16 输入直到未更改的工具输出这些代码——在全部三个模型中均满足相对于在线评估的 4 个百分点严格准确率非劣效性标准。在一项对微调期间 bf16 潜在权重的前瞻性冻结研究中（每个分支一个任务、一个配方和轨迹），原生 bf16 写入在终点使 2B-4T 的代码保持不变，并改变了一个 Falcon-E 代码，而模拟的随机舍入和补偿写入改变了代码，并且在两个模型中均以相同裕度不劣于 fp32 训练。在两个模型家族中，对初始距阈值距离的随机干预支持微调所改变代码的距离依赖性选择。
| 评论： | v2：新增第 6 节，一项关于微调期间 bf16 潜在权重写入的预注册研究（在 BitNet 2B-4T 和 Falcon-E 上的原生 bf16，以及随机舍入和补偿写入模拟），并更新了对公开微调检查点的审计。18 页，4 幅图，20 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07853 [cs.LG] |
| （或 arXiv:2610.07853v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07853 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Avichal Sahai [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 06:58:35 UTC（585 KB）
[v2]
2026 年 10 月 14 日星期三 09:28:41 UTC（592 KB）
来源：arXiv cs.CL · arxiv.org