arXiv·· 12 天前AI 评分31
研究揭示 bf16 转换导致三元语言模型导出丢失低学习率代码改动
Lost in the bf16 Cast: Exporting Ternary Language Models Can Revert Most Low-Learning-Rate Code Changes
AI 导读
对 BitNet b1.58、Falcon-E 和 BitCPM 三个实验室的三元语言模型导出流程审计发现，fp32 量化与部署代码在 Falcon-E 和 BitCPM 中不一致率为 0.83-1.77%，BitNet 2B-4T 为 1.530%。多数不一致源于 bf16 舍入恰好落在阈值上，导致低学习率代码改动在导出时被回退。
来源：arXiv · arxiv.org