Conway Research 发布 2-bit 量化版 Saluki 27B，7.89 GB 工具调用反超原版 Qwen3.8-27B
Conway Research 旗下 Underdog 以 Apache 2.0 发布 Saluki 27B，这是 Qwen3.8-27B 的 2-bit 混合精度 GGUF 量化版，文件从 54 GB 压到 7.89 GB，可在原版 llama.cpp 运行并支持完整 GPU 卸载。
MarkTechPost· Michal Sutter·2026-10-09 15:23· 2 小时前AI 评分60
认识一下黑马 Saluki 27B：一个 2-bit 的 Qwen3.8-27B，在工具调用上击败了原版
AI 导读
Conway Research 旗下 Underdog 以 Apache 2.0 发布 Saluki 27B，一个 2-bit 混合精度 GGUF 量化版 Qwen3.8-27B，文件从 54 GB 压到 7.89 GB，可在原版 llama.cpp 运行。
正文
Conway Research 的端侧助手 Underdog 已在 Apache 2.0 许可下发布 Saluki 27B。Underdog Saluki 27B 是 Qwen3.8-27B 的 2-bit GGUF 版本，体积仅 7.89 GB。完整的 BF16 模型需要 54 GB。Underdog 对压缩进行了调优，以保护工具调用这一将聊天模型转变为智能体的能力。对开发者而言，这意味着一个 27B 级别的智能体模型可以在原版 llama.cpp 中运行。
TL;DR
- 规模：27B 稠密参数。GGUF 为 7.89 GB，而 BF16 为 54 GB。
- 运行环境：原版 llama.cpp 及基于它构建的应用，支持完整 GPU 卸载。可选 629 MB 或 928 MB 视觉附加组件。
- 性能：在 9 项基准测试中，相对完整版 Qwen3.8-27B 平均保留 96%。
- 最佳：并行工具调用，42 对完整模型的 35（保留 120%）。
- 最差：AIME 2025，79.2 对 96.7（约保留 82%）。
- Bottom line:
- 最佳：在不到 8 GB 的文件中，工具调用击败了 54 GB 的原版。
- 最差：竞赛数学和多步推理下降 12 到 18 分。
什么是 Underdog Saluki 27B？
Saluki 27B 是面向本地智能体构建的 Qwen3.8-27B 的 2-bit 混合精度 GGUF。 它叠加了 3 层工作：
- 基础是 Qwen3.8-27B，来自 Qwen 团队的稠密 27B 模型。它有 64 层，混合了 Gated DeltaNet 线性注意力与门控注意力，并原生支持 262,144 个 token。
- 第二层是 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO-GGUF。GSQ 为每个张量学习精确的低比特标量网格。RCO 在固定大小预算下为每个张量分配量化类型。ISTA 最小的文件 IQ2_XS 为 8.4 GB，每权重 2.50 比特。
- 第三层是 Underdog 自己的处理。它将文件缩小到 7.89 GB，并针对工具调用进行了优化。该文件名为
IQ2-mix，并带有 imatrix 标签。Underdog 尚未公布这一处理的完整配方。
Saluki 在基准测试中表现如何？
Underdog 将其结果分为 2 组。
第一组在同一测试框架中运行了两个模型：
- Underdog Bench：来自 BFCL v4 的 120 个任务，在测试前冻结。关闭思考，温度 0。Saluki 得分 88，完整模型 84，PrismML 的 Bonsai 2 得分 70。
- 并行工具调用：100 个 BFCL v4 并行任务，使用官方检查器。Saluki 42，完整模型 35。
- SWE-bench Verified：50 个问题。Saluki 修复 30 个，完整模型 33 个。
第二组将 Saluki 与公开的完整规模分数进行比较：
| 基准测试 | Saluki 27B | Qwen3.8-27B（公开） |
|---|---|---|
| IFEval（prompt-loose） | 93.5 | 91.5 |
| IFBench（prompt-loose） | 72.7 | 71.0 |
| MBPP+ | 78.0 | 83.9 |
| MuSR | 67.5 | 79.6 |
| AIME 2025（avg@4） | 79.2 | 96.7 |
| AIME 2026（avg@4） | 80.0 | 94.6 |
Saluki 与其他紧凑型 Qwen3.8-27B 构建相比如何？
| 特性 | Underdog Saluki 27B | Qwen3.8-27B (BF16) | ISTA GSQ-RCO IQ2_XS | PrismML Bonsai 2 27B (PTQ1_0) |
|---|---|---|---|---|
| 组织 | Underdog (Conway Research) | Qwen team | ISTA-DASLab | PrismML |
| 参数 | 27B | 27B | 27B | 27.36B |
| 文件大小 | 7.89 GB | 54 GB | 8.4 GB | 5.95 GB |
| 每权重比特数 | 未披露（2-bit 混合） | 16 | 2.50 | 1.75 |
| 上下文 | 未披露 | 原生 262,144 | 未披露 | 262K |
| 视觉 | 附加组件，629 或 928 MB | 原生 | 0.9 GB mmproj | 可选 0.63 GB |
| 运行时 | 原版 llama.cpp | Transformers、vLLM、SGLang | 原版 llama.cpp、Ollama、LM Studio | PrismML llama.cpp 分支 |
| Underdog Bench（满分 120） | 88 | 84 | 未披露 | 70 |
| 厂商宣传数据 | 平均保留率 96%，9 项基准测试 | 基线 | 100.3% 零样本恢复率 | FP16 的 98.2%，14 项基准测试 |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
Bonsai 2 体积更小，并报告在 14 项思考模式基准测试中保留率达 98.2%。它还在数学方面表现更强，包括在 AIME25 上取得 95.00 分。然而，它需要 PrismML 的 llama.cpp 分支，因为原版 llama.cpp 不接受其打包格式。Saluki 可在原版 llama.cpp 上运行。各厂商使用各自的测试框架，因此跨厂商分数无法直接比较。
关键要点
- Saluki 27B 将 Qwen3.8-27B 压缩至 7.89 GB，低于原来的 54 GB。
- 它在工具调用上击败了完整模型：88 对 84。
- 并行工具调用从 35 提升至 42。
- 数学和推理受损最大，降至约 82% 至 85%。
- 它可在 Apache 2.0 许可下于原版 llama.cpp 中运行。
查看 Hugging Face 上的模型卡、Underdog 发布页面以及 X 上的公告。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ 机器学习 SubReddit 并订阅 我们的新闻通讯。等等！你在 Telegram 上吗？ 现在你也可以在 Telegram 上加入我们了。
文章 Meet the Underdog Saluki 27B: A 2-bit Qwen3.8-27B That Beats the Original at Tool Calling 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news