BottleCap AI 发布 ThinkingCap-gemma-4-26B-A4B-it，思考 token 平均减少 38.9%
Gemma-4-26B-A4B with 39-69% less thinking at same accuracy
BottleCap AI 发布 ThinkingCap 系列第五个模型 ThinkingCap-gemma-4-26B-A4B-it，在 gemma-4-26B-A4B-it 基础上把思考 token 平均减少 38.9%，十二项基准准确率平均仅降 0.15pp。
TL;DR
这是 ThinkingCap 系列的第五个模型。我们减少了 Google 的 gemma-4-26B-A4B-it 的思考量，同时不损害其回答质量。
- 思考 token 最多减少 69.1%，平均减少 38.9%，在十二项基准测试中测得，代价是 0.15pp 的准确率
- 首个基于 Google 模型的 ThinkingCap，也是迄今为止所有 ThinkingCap 中准确率代价最小的
- 循环率从原模型回复的 3.6% 降至我们模型的 0.8%
- 相同的采样设置（开启思考、temperature 1.0、top_p 0.95），相同的服务栈（vLLM），可直接替换
ThinkingCap PRO：想要更高的效率？该模型的 PRO 版本最多可减少 87.6% 的思考 token，平均减少 62%。在大规模场景下实现更快的回答和更低的推理成本。请联系我们：enterprise@bottlecapai.com。
我们的第五个 ThinkingCap
迄今为止，我们已发布了四个 token 高效模型：ThinkingCap-Qwen3.6-27B、ThinkingCap-Qwen3.8-27B、ThinkingCap-NVIDIA-Nemotron-3.5-Lightning-30B-A3B 和 ThinkingCap: Qwen3.8-Flash-Next。
gemma-4-26B-A4B 是 Google 的稀疏混合专家模型——总参数 26B，每个 token 约激活 4B。这是我们继 Qwen 和 NVIDIA 之后应用此项工作的第三个模型系列。在这一个模型上，我们额外投入精力以保持准确率不受损：思考量平均减少 38.9%，代价仅为 0.15pp 的准确率，这比大多数测试套件的运行间波动还要小。
原模型与 ThinkingCap 模型在相同输入提示下的视频对比。
两个模型运行在相同硬件上，并使用相同的推理设置。
训练目标
我们从 gemma-4-26B-A4B-it 出发。目标是花更少的 token 得到答案，其他一切不变：保留知识、推理能力、回答质量、指令遵循和安全行为。
结果
各任务类别的准确率，gemma-4-26B-A4B-it 对比 ThinkingCap 模型
任何类别的准确率都几乎没有变化，其中两个类别还有所上升。指令遵循与智能体提升 0.65pp，数学提升 0.39pp；代码持平于 0.02pp；知识与推理下降 0.51pp，长上下文与多模态下降 0.92pp。在全部十二项基准测试上平均，变化为 −0.15pp。
各任务类别的平均思考 token 数，gemma-4-26B-A4B-it 对比 ThinkingCap 模型
变化主要体现在思考上，每个类别都变短了。长上下文与多模态减少最多，为 54.4%，其次是知识与推理 44.4%、数学 36.1%、代码 27.6%；指令遵循与智能体减少最少，为 17.2%。在十二项基准测试上平均为 38.9%。
| 基准测试 | 准确率（基础） | 准确率（我们的） | Δ 准确率 | 平均思考 token 数 | Δ 平均思考 | 截断 % | 循环 % |
|---|---|---|---|---|---|---|---|
| 数学 | |||||||
aime26 | 86.20% ±0.86 | 86.72% ±0.98 | +0.52pp | 14766 → 8963 | -39.3% | 5.2 → 0.5% | 5.5 → 0.9% |
hmmt_nov25 | 81.51% ±1.06 | 80.89% ±1.19 | -0.62pp | 16462 → 10542 | -36.0% | 9.0 → 1.2% | 8.6 → 1.2% |
hmmt_feb26 | 72.92% ±1.08 | 74.20% ±1.16 | +1.28pp | 22005 → 14717 | -33.1% | 18.6 → 4.6% | 17.0 → 4.5% |
| 代码 | |||||||
livecodebench | 76.98% ±0.56 | 76.96% ±0.67 | -0.02pp | 11560 → 8375 | -27.6% | 6.8 → 1.3% | 2.2 → 0.3% |
| 知识与推理 | |||||||
gpqa_diamond | 79.92% ±0.57 | 78.96% ±0.67 | -0.96pp | 7699 → 4284 | -44.4% | 0.3 → 0.1% | 0.3 → 0.1% |
mmlu_pro | 84.55% ±0.29 | 84.64% ±0.16 | +0.09pp | 3907 → 1989 | -49.1% | 0.0 → 0.0% | 0.1 → 0.0% |
mmmlu | 84.09% ±0.26 | 83.43% ±0.27 | -0.66pp | 1212 → 731 | -39.7% | 0.0 → 0.0% | 0.0 → 0.0% |
| 长上下文与多模态 | |||||||
aa_lcr | 64.62% ±2.49 | 60.62% ±2.89 | -4.00pp | 6519 → 2655 | -59.3% | 4.0 → 0.0% | 3.6 → 0.4% |
longbench_v2 | 59.43% ±1.14 | 60.88% ±1.29 | +1.45pp | 9486 → 2934 | -69.1% | 7.7 → 0.5% | 5.9 → 1.2% |
realworldqa | 70.83% ±0.56 | 70.61% ±0.56 | -0.21pp | 819 → 533 | -34.9% | 0.0 → 0.0% | 0.0 → 0.0% |
| 指令遵循与智能体 | |||||||
ifbench | 76.83% ±0.80 | 78.67% ±0.73 | +1.83pp | 6470 → 5585 | -13.7% | 0.4 → 0.4% | 0.5 → 0.5% |
tau2 | 64.25% ±0.97 | 63.73% ±1.26 | -0.53pp | 4374 → 3466 | -20.8% | 0.0 → 0.0% | 0.0 → 0.0% |
| 平均（12 项基准测试） | 75.18% | 75.03% | -0.15pp | 8773 → 5398 | -38.9% | 4.35 → 0.72% | 3.64 → 0.76% |
每一行都是原始 BF16 与 ThinkingCap 模型的对比，二者在同一套测试框架、相同设置下运行，回答同样的问题。准确率是各随机种子结果的平均值，± 为种子间差异给出的 95% 置信区间。最后一行的每个单元格都是十二个基准的平均值，每个基准只计一次——因此那里的 Δ 平均思考 是十二项缩减量的平均值，而不是旁边两个 token 数字的比值（该比值为 38.5%）。同样的区别也适用于上方的系列柱状图，它们绘制的是每个系列的平均 token 数。在 τ²-bench 上，思考 token 是按任务统计的，即把一次 rollout 各轮次加总，而不是按单次响应统计。各列的定义见 评估方法。
十二项全部变短。降幅最大的是 LongBench v2（−69.1%）、AA-LCR（−59.3%）和 MMLU-Pro（−49.1%）；降幅最小的是 IFBench（−13.7%）和 τ²-bench（−20.8%）。这两项降幅最小的任务，恰恰是最不依赖长时间思考的：一项是遵循一组格式约束，另一项是通过正确的工具调用执行固定的客服策略。
在准确率方面，大多数结果都在噪声范围内：十二项中有八项的差距小于运行间的波动，十二项中有五项超过了原始模型。超出其置信区间允许范围的有四项：IFBench（+1.83pp，对我们有利）、GPQA-Diamond（−0.96pp）、MMMLU（−0.66pp）和 AA-LCR（−4.00pp）。AA-LCR 是整套测试中唯一真正的代价。
整套测试中的循环问题都有改善。原始模型有 3.64% 的响应出现循环，而我们的是 0.76%——在循环最多的三个基准 AIME 2026、HMMT Nov 25 和 HMMT Feb 26 上，该比率分别从 5.5%、8.6% 和 17.0% 降至 0.9%、1.2% 和 4.5%。
准确率与思考 token 预算的关系，两个模型
从左往右读，这正是部署时真正要问的问题：在每道题给定的 token 预算下，你能获得多少准确率？ThinkingCap 的曲线在整个中间区间都位于原始模型之上——相同准确率下预算更小——而当预算足够宽、两个模型都不再受其约束时，两条曲线便趋于一致。
评估方法
推理模型的评估噪声很大。在推荐的温度 1.0 下，响应的内容和长度都会随运行而变化，因此单个随机种子提供的信息非常有限。以下所有结果都是每个基准使用多个随机种子，准确率报告为平均值及跨种子的 95% 置信区间。
双方来自同一次运行。 原始模型和我们的模型由同一套测试框架评估，采样和服务设置完全相同。原始模型由我们自行测量，而非引用已发布的数据。配置如下：
- 测试框架 —— 我们的内部评估套件，两个模型均运行在 vLLM 上。
- 上下文 —— 每个基准上每次响应生成上限为 65,536 个 token，τ²-bench 上则为每轮上限。
- 采样 —— 开启思考；temperature 1.0、top_p 0.95、top_k 64。我们的模型原样沿用 Google 推荐的预设，因此对比中不涉及任何解码方式的改变。
- 准确率 —— 跨种子的平均值及 95% t 区间，用以说明仅改变采样种子时答案的波动幅度。
- 种子数 — AIME 2026、HMMT Nov 2025 和 HMMT Feb 2026 各 64 个；GPQA-Diamond 和 LiveCodeBench 各 32 个；RealWorldQA、IFBench 和 τ²-bench 各 16 个；AA-LCR 和 LongBench v2 各 8 个；MMLU-Pro 和 MMMLU 各 4 个，后两者的题目数量足够大，题目抽样不是限制性噪声来源。
- 题目集 — AIME 2026（30 题）、HMMT Nov 2025（30 题）、HMMT Feb 2026（33 题）、LiveCodeBench（175 题）、GPQA-Diamond（198 题）、MMLU-Pro（12,032 题）、MMMLU（9,996 题）、AA-LCR（100 题）、LongBench v2（370 题）、RealWorldQA（765 题）、IFBench（300 题）和 τ²-bench（278 个任务，覆盖航空、零售和电信）。
- 评分 — 对提取出的答案做精确匹配，但 LiveCodeBench 例外，其生成的代码会针对题目的测试运行；IFBench 由其程序化验证器评分；τ²-bench 和 AA-LCR 则由评判器评分。τ²-bench 还会针对模拟用户运行，并报告为其三个领域的未加权平均值。
各列的含义
- 准确率（基线） / 准确率（我们的） — 如上所述；Δ 准确率 是两者之差，以百分点计。
- Δ 平均思考量 — 核心指标：思考 token 的变化量，按基准总计后除以题目数量，因此长题目的权重高于短题目。
- 平均思考 token 数 是推理结束前的 token 数，对基准中每道题和每个种子取平均，写作
base → ours。 - 截断 % — 思考从未结束、因而得零分的响应占比。循环 % — 被基于压缩的循环检测器捕获的响应占比，该检测器会标记文本压缩程度远超普通散文的响应。
获取模型
你可以在这里找到该模型：bottlecapai/ThinkingCap-gemma-4-26B-A4B-it，同时发布了 GGUF 构建版本。
有任何问题，或有想用此模型运行的工作负载？
请发邮件至 hey@bottlecapai.com
ThinkingCap PRO： 想要更高的效率？该模型的 PRO 版本最多可减少 87.6% 的思考 token，平均减少 62%。在大规模场景下答案更快、推理成本更低。请联系我们：enterprise@bottlecapai.com。
来源：Hacker News · bottlecapai.com