小模型推理预算：量化位宽与选项顺序平均的权衡

Mohammed Nayeem Khan 等人发表论文，在 Qwen3-0.6B 和 Qwen3-1.7B 两个小模型上模拟 8/6/4/3 位权重量化，考察固定推理预算下应投向权重精度还是选项顺序平均。结果显示，6 位量化相对 fp16 不损失精度；4 位时，0.6B 模型的答案槽位偏斜从 0.15 升至 0.53。 作者称，所有实验均为模拟，使用最简单的量化器，且按标题检索未发现此前有同时研究量化与选项顺序的工作。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。