llama.cpp 实测对比两款 2-bit 量化模型

MarkTechPost 发布教程，在 llama.cpp 中对比运行 Underdog Saluki 27B（7.9 GB 的 Qwen3.8-27B 2-bit 量化版）与 ISTA-DASLab 的 GSQ-RCO 量化版，逐张量比对 GGUF 头并做字节级比较，在同一 GPU 上测内存与速度，并用 BFCL 官方 checker 在相同种子的 120 个任务上按严格与宽松解析评分。 教程称，Saluki 的制作者表示该版本在约每权重两比特下保持工具调用能力，并在其自有的 120 任务基准上略胜 54 GB 全量模型。 运行环境限定为 Linux 上的 NVIDIA GPU（Colab T4）或 Apple 芯片 Mac。由于 Underdog Bench 未公开任务列表，教程自行抽取带种子的样本；小样本、贪心解码和单次运行限制了结论强度，教程提示应同样重视区间。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。