RadarAI· X:Unsloth (@UnslothAI)·· 23 小时前AI 评分72
Unsloth 发布 Inkling 2 Mini 本地运行指南,26.4B MoE 模型可在 16GB 内存运行
AI 导读
Unsloth 提供了 Thinking Machines 新发布的 Inkling 2 Mini 的本地运行支持,这是一款 Apache 2.0 的 26.4B(激活 5.4B)MoE 模型,采用 Looped Transformer 架构和 1M 上下文。
正文 · AI 翻译
Unsloth AI· @UnslothAI · X·2026-11-21 04:18· 1 小时前AI 评分64
AI 导读
Unsloth 提供了 Thinking Machines 新发布的 Inkling 2 Mini 的本地运行支持,这是一款 Apache 2.0 的 26.4B(激活 5.4B)MoE 模型,采用 Looped Transformer 架构和 1M 上下文。该模型 DeepSWE v1.1 得分 48.2%、SWE-Bench Pro v2 (Hard) 得分 77.9%,为其尺寸中最高;GGUF 已上传至 Hugging Face,1-bit 量化仅需 9GB 内存,4-bit 需 17-18GB,可通过 Unsloth 和 llama.cpp 运行。
正文 · 原文
在 X 查看被引用的帖子你们中有些人认为 Inkling 2 Small 的 594B 参数太大了。我们听到了:Inkling 2 Mini 是一款循环式 Transformer,仅有 26B 参数,小到可以在你的笔记本电脑上运行,强大到足以胜任智能体工作,在 AA Index 上得分为 20.1。
thinkingmachines.ai/news/inkl…
来源:Unsloth AI · x.com
事件后续 · 1
来源:RadarAI · aihot.news