Precision Numerics 发布 1-bit 模型 Boole-1.7B，权重仅 247 MB
Boole-1.7B
Precision Numerics 发布 Boole-1.7B，一个从 Qwen3-1.7B 蒸馏而来的 1-bit 语言模型，存储权重 247 MB，十项基准平均分 50.55，BF16 基线为 58.83，相当于基线的 85.9%，权重体积缩小 13.9 倍。
- 发布于
- 2026年10月11日
- 作者
- Hyochan Chong
我们发布 Boole-1.7B，这是一个源自 Qwen3-1.7B 的 1 位语言模型，存储权重为 247 MB。它在十项基准测试中得分 50.55，而 BF16 基线为 58.83。这是基线十项任务平均得分的 85.9%，同时存储权重体积减少了 13.9 倍。
为什么 1 位很难
二值权重是一个符号，+1 或 −1，其幅度来自一组权重共享的一个缩放因子。有两点使这变得困难：共享一个幅度会丢弃信息，而缩放因子本身也占用存储。
多个权重共用一个幅度
4 位格式为每个权重提供十六个级别之一，因此一组中的权重在共享缩放因子下保留不同的幅度。二值组只保留符号。
每个箭头代表一个权重：方向是其符号，长度是其相对幅度。
4 位（INT4）符号 + 幅度
s4 ×
−4 −1 +2 +6 −3 +1 −2 +3
二值仅符号
s1 ×
−1 −1 +1 +1 −1 +1 −1 +1
最佳的共享缩放因子是该组的平均幅度[1]，而剩余的误差是组内幅度的方差：
\[ \begin{aligned} s_G^* &= \frac{1}{g}\sum_{i=1}^{g}|w_i| \\ \mathrm{MSE}_{G,\min} &= \frac{1}{g}\sum_{i=1}^{g}w_i^2 - (s_G^*)^2 \end{aligned} \]
对于方差为 \(\sigma^2\) 的高斯权重，其幅度的均值为 \(\sigma\sqrt{2/\pi}\)，方差为 \(\sigma^2(1-2/\pi)\)，而从 \(g\) 个样本估计该均值会消除其中 \(1/g\) 的份额：
\[ \frac{\mathbb{E}[\mathrm{MSE}_{G,\min}]}{\sigma^2} = \left(1-\frac{1}{g}\right)\left(1-\frac{2}{\pi}\right) \]
在组大小为 128 时这是 36.1%，在 32 时是 35.2%，随着组增大趋近于权重方差的 36.3%。将缩放因子数量增加四倍换来的收益不到一个百分点。该计算是理想化的，并不能预测精度损失，但它表明共享缩放因子能恢复的信息少之又少。
缩放因子占用存储
更小的组需要更多缩放因子。每 \(g\) 个权重使用一个 \(b_{\mathrm{scale}}\) 位的缩放因子，会给每个权重增加 \(b_{\mathrm{scale}}/g\) 位：
\[ b_{\mathrm{eff}} = b_{\mathrm{weight}} + \frac{b_{\mathrm{scale}}}{g} \]
线条使用 16 位缩放因子。圆点使用 8 位块缩放因子：NVFP4[2] 在 16 个值之间共享一个 E4M3 缩放因子；MXFP8、MXFP6 和 MXFP4[3] 在 32 个值之间共享一个 E8M0 缩放因子。NVFP4 额外的逐张量缩放因子未计入。
使用 16 位缩放因子和大小为 32 的组时，缩放因子会给每种格式的每个权重增加 0.5 位。这占 1 位模型存储的 33%，而 8 位模型仅占 6%。大小为 8 的组在 1 位时每个权重已经要花费 3 位，而每个权重一个缩放因子要花费 17 位，比 16 位原版还多。
Boole-1.7B
Boole-1.7B 是 Qwen3-1.7B 的 1 位版本，面向非思考模式下的英语推理。上面的摘要将其与 BF16 原版以及 PrismML 的 1 位 Bonsai-1.7B 进行了比较，比较维度为平均得分和智能密度：每 GB 权重的能力。
其他精度的 Qwen3-1.7B
同一个基础模型存在于多种精度下。图表将 Boole 置于其中：BF16 和 FP8 的 Qwen3-1.7B、Unsloth 从 1 到 8 位的 GGUF 量化，以及 PrismML 的二进制和三元 Bonsai-1.7B。
在几乎相同的权重存储下，Boole 平均比二进制 Bonsai-1.7B（44.97）高 5.58 分。三元 Bonsai-1.7B 平均为 51.57，比 Boole 高 1.02 分，权重存储是 Boole 的 1.9 倍。Unsloth 的 3 位 GGUF 平均为 46.57（Q3_K_S）和 53.66（Q3_K_M），权重存储分别是 Boole 的 3.5 倍和 3.8 倍。
29 种评估格式。垂直参考线显示格式开销前的理想权重存储；横轴使用记录的存储大小。分数来自我们评估的十任务等权平均。
连线连接同一模型的格式；该线连接随存储大小增加的最佳观测平均值。
Boole 在十项任务中的七项上优于二进制 Bonsai。提升最大的是数学和代码；在 MuSR、IFEval 和函数调用（BFCLv3）上得分较低。
小语言模型前沿
接下来我们将 Boole 与 52 种格式的 23 个小语言模型进行比较，所有权重存储均低于 3 GB。
在本次评估的变体中，Boole 在其存储大小或以下具有最高的基准平均分。平均分更高的最小变体是 Ternary-Bonsai-1.7B：457 MB 下为 51.57，即 Boole 存储的 1.9 倍。
每个点是一种评估格式；连线连接随存储增加的最佳十任务平均值。可选择十任务平均值或任一单项基准。
模型 23 / 23
23 个模型 · 52 种评估格式
连线连接同一模型的变体。
智能密度
智能密度衡量每单位权重存储的基准能力。我们使用 PrismML 的定义[4]，−ln(1 − average/100) / storage_GB，采用自然对数和十进制 GB，根据每个模型的十任务平均值及其记录的存储大小计算。越高越好。
Boole 在评估模型中具有最高的智能密度，为每 GB 2.85。次高的是 LFM2.5-230M，为 2.58。
智能密度最高的十个模型，各自处于其最佳格式。密度使用十任务平均值。
下一步是什么？
我们正在构建系统，让您的硬件更有价值，并推动效率前沿以惠及开源社区。对于本地开发者，请告诉我们您接下来希望看到什么。对于团队和企业，联系我们开展合作，以便我们帮助您的团队或企业充分利用您的硬件。
参考文献
- Rastegari 等（2016）。XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks. 第 3.1 节，公式 2–6。
- NVIDIA。NVFP4。 Transformer Engine 文档，数据格式与缩放因子。
- Open Compute Project（2023）。OCP Microscaling Formats (MX) Specification, version 1.0.
- PrismML。Bonsai-8B 白皮书。 智能密度定义。
引用 Boole
@misc{precisionnumerics2026boole1p7b,
author = {{Precision Numerics}},
title = {{Boole}-1.7B},
year = {2026},
month = {October},
url = {https://huggingface.co/precision-numerics/Boole-1.7B}
}来源：Hacker News · precisionnumerics.ai