Thinking Machines 发布开源循环 MoE 模型 Inkling 2 Mini,26.4B 参数可在 32GB Mac 上运行
Thinking Machines Lab 发布开源权重循环 Transformer 模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,中间层权重每 token 复用 3 次,checkpoint 约 20GB,可在 32GB 内存 Mac 或 1 台 NVIDIA DGX Spark 上运行。
同一新闻,精选展示《Thinking Machines 以 Apache 2.0 开源 Inkling 2 Mini》
MarkTechPost· Asif Razzaq·2026-11-21 20:13· 2 小时前AI 评分72
认识 Thinking Machines Inkling 2 Mini:26B 循环 MoE 可在 32GB Mac 上运行
AI 导读
Thinking Machines 发布开源权重循环 Transformer 模型 Inkling 2 Mini,总参数 26.4B、激活 3.4B,中间层权重每 token 复用 3 次,checkpoint 约 20GB,可在 32GB 内存 Mac 或 1 台 NVIDIA DGX Spark 上运行。
正文 · 原文
Thinking Machines Lab 发布了 Inkling 2 Mini,这是一个总参数 26.4B 的开源权重循环 Transformer。该模型对每个 token 将其中间层复用 3 次,而不是增加更多权重。这使 checkpoint 保持在约 20GB,小到足以在 32GB Mac 或 1 台 NVIDIA DGX Spark 上运行。对开发者而言,Inkling 2 Mini 是用于智能体编程、工具使用和文档工作的本地选项。它以 Apache 2.0 许可证在 Hugging Face 上发布,并在 Tinker 上提供托管推理和微调。
TL;DR
- 规模:总参数 26.4B,激活 3.4B(循环后每 token 有效 5.4B),上下文最高 1M token。
- 运行于:32GB 以上内存的 Apple silicon、1 台 NVIDIA DGX Spark,或 32GB 以上 VRAM 的 GPU。通过 Unsloth 和 llama.cpp 提供 GGUF 构建。
- 性能:Artificial Analysis Index 得分 20.1,与 Qwen3.8-27B 持平(自报)。
- 最佳:SWE-bench Verified 上 79.2%(仅 bash)。
- 最差:HLE-Diamond 上 15.2%,MultiChallenge 上 50.0%。
- 结论:最佳:20GB checkpoint 带来强大的智能体编程能力。最差:知识回忆和多轮指令遵循较弱。
什么是 Inkling 2 Mini?
Inkling 2 Mini 是 Thinking Machines 推出的稀疏 Mixture-of-Experts 模型,其中间层会循环。它接受文本和图像,仅返回文本。
它紧随 11 月 5 日发布的 594B 参数模型 Inkling 2 Small。
循环 Transformer 如何工作?
该模型存储 24 层,分为 4 个块,每块 6 层。第一个和最后一个块运行一次。中间 2 个块以共享权重运行 3 次。这样,24 层权重对每个 token 产生 48 次层应用。
第一次之后的每次传递都会收到来自上一次传递的“消息”。Thinking Machines 通过 Attention Residuals 和一个学习门控来传递它。前馈层使用 128 个专家,每个 token 路由 8 个。
循环中间层带来了 1.51 倍到 1.91 倍的计算等效增益。循环最后几层仅带来 1.24 倍到 1.36 倍。中间循环变体在 28 项评估中赢了 27 项。
循环会增加训练计算量,但节省推理计算量。未循环的基线使用的训练计算量少 7.5%。要在 512k token 的智能体轨迹上达到循环模型的损失,它需要多 140% 的推理计算量。
Inkling 2 Mini 是如何训练的?
训练开始时每层有 384 个专家,每个 token 激活 8 个。在中期训练时,团队剪枝了三分之二,保留最常用的 128 个专家。随后从更大的内部 Inkling 模型进行 1T token 的蒸馏运行,以修复剪枝后的模型。后训练先使用 SFT,然后在 2.2T token 和 2,000 步上进行 RL,外加同策略蒸馏。
专家层以 NVFP4 训练和部署。最后 4 层使用 MXFP8。Thinking Machines 表示这消除了量化转换损失。一个研究变体 TML-d24-varloop-research 以 1 到 5 次传递进行训练。
Inkling 2 Mini 在基准测试上表现如何?
以下所有 Inkling 分数均由 Thinking Machines 自行报告。编程是其最强领域。Inkling 2 Mini 在 SWE-bench Verified(仅 bash)上得分 79.2%,在 SWE-bench Pro v2(Hard)上得分 77.9%。它在 DeepSWE v1.1 上达到 48.2%,而 Qwen 自己的模型卡 列出 Qwen3.8-27B 为 42.2%。在 Terminal Bench v2.1 上它得分 71.6%,落后于 Qwen3.8-27B 的 73.0%。
智能体搜索同样表现稳健:在启用压缩的 BrowseComp 上得分 79.0%,在 MCP Atlas 上得分 82.7%。在文档和视觉方面,它在 OmniDocBench v1.6 上得分 92.8%,在 MMMU Pro 上得分 74.9%。在推理方面,它在 GPQA Diamond 上得分 86.6%,在 ARC-AGI-2 上得分 49.3%。
效率是其主打卖点。在斯坦福的 Intelligence per Watt 指标上,Thinking Machines 报告在 DGX Spark 上为 0.703。它列出 Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159。
Inkling 2 Mini 与 Qwen 和 Gemma 相比如何?
| 特性 | Inkling 2 Mini(模型卡) | Qwen3.8-27B(模型卡) | Qwen3.6-35B-A3B(模型卡) | Gemma 4 26B A4B(模型卡) |
|---|---|---|---|---|
| 架构 | 循环 MoE | 稠密 | MoE | MoE |
| 总参数 | 26.4B | 27B | 35B | 25.2B |
| 激活参数 | 3.4B(等效 5.4B) | 27B(稠密) | 3B | 3.8B |
| 上下文 | 最高 1M | 原生 262,144,最高 1M | 原生 262,144,最高 1,010,000 | 256K |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | Apache 2.0 |
| 输入 | 文本、图像 | 文本、图像、视频 | 文本、图像 | 文本、图像 |
| 列出的硬件 | 约 20GB;32GB Mac 或 DGX Spark | 未披露 | 未披露 | 未披露 |
| GPQA Diamond | 86.6% | 89.2 | 86.0 | 82.3% |
| Terminal Bench 2.1 | 71.6% | 73.0 | 未报告 | 未报告 |
| SWE-bench Verified | 79.2%(仅 bash) | 未报告 | 73.4 | 未报告 |
| DeepSWE 1.1 | 48.2% | 42.2 | 未报告 | 未报告 |
| 托管访问 | Tinker | Qwen Cloud | 未披露 | 未披露 |
每一列均使用厂商自己的模型卡。测试框架和设置不同,因此跨厂商差距仅供参考。
运行 Inkling 2 Mini 需要什么硬件?
检查点以 Safetensors 格式存储约为 20GB。Thinking Machines 列出了 3 种受支持的配置:1 台 NVIDIA DGX Spark、内存 32GB 以上的 Apple 芯片,以及显存 32GB 以上的其他 GPU。量化 GGUF 版本可通过 Unsloth 和 llama.cpp 获取。
服务支持涵盖 Transformers、vLLM、SGLang、Ollama、NVIDIA Dynamo 和 TokenSpeed。Mini 的 Tinker 定价未在发布材料中披露。
vLLM 快速开始只需 1 条命令:vllm serve "thinkingmachines/Inkling-2-Mini"。
Inkling 2 Mini 的短板在哪里?
知识主要取决于总参数量,而循环并未帮助知识类基准。Inkling 2 Mini 在 AA-Omniscience 上得分为 -8.6,非幻觉率为 63.4%。
它不是多轮聊天或约束密集型提示的最佳小型模型。它在 MultiChallenge 上得分 50.0%,在 ComplexConstraints v1.1 上得分 33.4%。它在 HLE-Diamond(15.2%)和 CritPt v2 上也落后于更大的模型。
关键要点
- Inkling 2 Mini 将 24 个存储层循环为每个 token 48 次层传递。
- 总参数 26.4B,激活 3.4B,约 20GB,Apache 2.0,上下文最高 1M。
- 可通过 Ollama、vLLM 或 llama.cpp 在 32GB Mac 或 1 台 DGX Spark 上运行。
- 在 SWE-bench Verified 上得分 79.2%,以 20.1 AA Index 与 Qwen3.8-27B 持平。
- 弱点:知识回忆、多轮聊天和约束密集型提示。
查看技术博客、模型卡、模型权重和 Tinker Playground。你可以通过我们的GPULeaderboard.com chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,也别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等!你在用 Telegram 吗?现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub Repo、Hugging Face 页面、产品发布或网络研讨会等?联系我们
文章 Meet Thinking Machines Inkling 2 Mini: 26B Looped MoE Runs on a 32GB Mac 首发于 MarkTechPost。
来源:MarkTechPost · marktechpost.com
事件后续 · 1
来源:RadarAI · aihot.news