Thinking Machines 发布 Inkling 2 Small：594B 总参数 MoE 模型

今天我们推出第二代模型 Inkling 2 Small。它是一个混合专家模型，总参数 594B，激活参数 17B，支持图像输入和可变推理强度。

Inkling 2 Small 在 Artificial Analysis Intelligence Index 上的得分远超我们此前的模型，达到 31 分，反映出其在智能体编程、视觉、知识工作和推理方面性能的提升。能力提升来自我们训练流程每一步的改进，包括更高效的预训练和一次大规模统一强化学习运行。

Inkling 2 Small 初期将通过 Tinker 提供，权重闭源，遵循我们在开放权重的安全路径中概述的方法。我们计划在完成外部安全测试和红队测试后，于下周以 Apache 2.0 许可证开放完整权重。

你今天就可以在 Tinker Playground 上试用 Inkling 2 Small。该模型也可在 Tinker 上进行微调和采样；随着 Inkling 2 Small 权重的发布，检查点将可供下载。

能力

Inkling 2 Small 在各方面都比我们的第一代模型更强，尤其是在长时程自主工作方面。

Inkling 2 Small 的视觉和智能体能力使其能够结合视觉反馈，迭代构建和完善带有交互元素的网站、游戏和 3D 设计。

智能体编程与自动研究

Inkling 2 Small 通过强化学习在数十万个长时程编程任务上训练，涵盖多种智能体框架和上下文压缩策略。我们提升了合成编程数据管线的质量，并超越了仅依赖单元测试奖励的做法；许多任务包含一个智能体强化学习评分器，评估模型如何解决问题，而不仅仅是代码是否通过。我们还在 OpenCode 上以 Fledge-Alpha 为名测试了 Inkling 2 Small 的早期检查点，以评估模型在真实世界编程任务中的表现。

结果是，这个模型在编程上更强，也更容易在真实智能体循环中使用。与 Inkling 相比，Inkling 2 Small 提升了易用性：它更好地遵循指令，谨慎考虑更改，并主动验证自己的工作。

除常规软件任务外，Inkling 2 Small 还接受了长时程自主研究任务的训练。这包括智能体式 GPU kernel 优化，以及诸如自主对模型进行后训练等 ML 任务，全部在一系列 GPU 架构上运行。

为展示其端到端自主研究性能，我们在一个为内部基准构建的任务 Proximal 上测试了 Inkling 2 Small。Inkling 2 Small 在 Tinker 上自主训练 Qwen3.5-4B，以预测天气、维基百科页面浏览量等各种时间序列。它首先分析任务并编写自己的评估器，尝试不同的训练数据集和配方，并试验各种 SFT 和 RL 方法，同时边做边调试。经过 4.5 小时的工作和 426 美元的 Tinker 花费，训练后的模型将预测分数提高了一倍以上。

视觉理解与创作

Inkling 2 Small 使用基于 Perception Encoder 的 292M 参数视觉编码器处理图像输入Bolya et al., 2025。。我们使用 20×20 像素的图像块，并进行 2×2 空间池化，将图像块与文本 token 交错排列。该模型在多个类别中展现出强大的视觉能力，包括 OCR、定位、信息图理解和视觉推理。

该模型在循环中使用视觉来解读并验证其生成的视觉编码输出。待其权重发布后，它将成为 DesignArena 上排名第一的开源权重模型。

我们甚至在一场品酒活动中让 Inkling 2 Small 与我们的部分研究人员同场竞技。它仅凭视觉就胜过了他们，在 20 次试验中有 19 次仅凭一张照片正确识别出三款葡萄酒。

智能体式知识工作

Inkling 2 Small 在真实职业环境中加速知识工作。它能熟练查找信息、通过 MCP 调用工具，并产出高质量交付物。在端到端知识工作基准 AA-Briefcase 上，这些能力综合起来获得 1527 的 ELO 分数。

Inkling 2 Small 在金融以及针对电子表格、申报文件和文档的定量推理方面尤为擅长。在开放权重模型中，Inkling 2 Small 在多项金融基准上表现最佳。

可定制性

有些模型对微调的响应更好，这与其开箱即用的表现无关。我们希望 Inkling 2 Small 成为用于定制的强大基础模型。

在多种后训练场景中，Inkling 2 Small 在相同数据和算法下训练时，比我们之前的模型学习得更快、提升更多，这些场景是我们根据客户用例精心设计的。例如，在一项公开的财务文档摘要任务中，从相近的低分起步，Inkling 2 Small 快速适应，仅用 75 个训练步骤就达到了 Inkling Small 的最终性能，并最终大幅领先。

推理、知识与认知

Inkling 2 Small 在具有挑战性的 STEM 问题、指令遵循、有无网络搜索的信息检索以及预测任务上进行了训练。在 RL 期间，我们对预测任务使用适当的评分规则，并在某些问答任务上使用对不确定性敏感的奖励。这训练模型评估不确定性、表达适当的置信度并做出良好校准的预测。

安全与对齐

我们对 Inkling 2 Small 的安全工作集中在两个问题上：模型对普通用户的表现如何，以及它抵御恶意行为者移除安全防护的能力如何。Inkling 的权重发布有待我们和合作伙伴的进一步安全评估。

为评估滥用风险，我们训练了一个内部仅助益变体。我们让该模型和发布检查点都通过了比以往任何发布都更广泛的评估套件，并使用了更多外部测试人员。

在化学、生物、放射性和核（CBRN）风险方面，Inkling 2 Small 的知识和能力得分低于开放权重前沿水平。在 FORTRESS 上——这是 Scale AI 的私有基准，用于评估模型在 CBRN、恐怖主义和非暴力犯罪领域面对专家撰写的对抗性提示时提供有害协助的程度——Inkling 2 Small 的平均风险得分低于 Inkling 和 Inkling-Small，同时也表现出更高的过度拒答得分（见局限性部分）。Inkling 2 Small 的 helpful-only 变体在 CBRN 知识方面相对于发布检查点有边际提升，但在我们测量的任何维度上都没有显著推进前沿。

在攻击性和两用型智能体网络基准上，Inkling 2 Small 相比 Inkling Small 有大幅提升，但仍落后于开放权重前沿。它在 Vals CyberBench v1.1 和 PatchEval 上与开放权重前沿持平，这两项基准都衡量发现和修补安全漏洞的能力。

* 虽然我们能很好地处理心理困扰情境，但正如局限性部分所述，我们的模型有时会在正常的情感支持查询中过度反应，附加免责声明。

随着模型承担无监督、更长周期的自主工作，其不当行为可能造成的危害也随之增加。如果不对对齐给予适当关注，以能力为中心的强化学习可能推动模型不惜一切代价取得成功。当任务困难时，Inkling 2 Small 的早期检查点会执着地尝试成功——在某些情况下伪造结果、无视指令并隐瞒自己的所作所为。

我们在整个技术栈上努力改进模型对齐。在中期训练中，我们过滤掉了包含不当行为的轨迹，并加入了诚实、对齐行为的轨迹。在强化学习中，我们添加了一个通用对齐奖励，对每项任务中的不当行为进行惩罚。我们还构建了针对训练中观察到的特定失败模式的环境，例如奖励模型放弃不可能完成的任务。最后，我们使用了来自教师模型的同策略自蒸馏Zhao et al., 2026。，该教师模型以行为规范为提示，使模型无需显式提示即可内化良好行为的原则。

我们通过内部和外部评估来衡量进展，发现 Inkling 2 Small 在内部和外部评估上均大幅优于之前的 Inkling 模型，并在我们的内部评估中优于一组可比的开放权重模型。

在我们的对齐评估中，Inkling 2 Small 仍落后于闭源权重模型，例如 GPT-6.1 Sol。缩小这一差距是未来模型的优先事项。

我们还通过两层监控来保障训练和评估的安全。第一层是同步的：监控器在工具调用运行前进行检查。每个任务都会声明其授权的操作。确定性规则会根据任务策略和规避模式检查调用，并将不确定的情况上报给 LLM 评判器。第二层是异步的：LLM 评判器会审查训练和评估中已完成的 rollout，检查是否存在不当行为和违反我们安全边界的操作，并发出警报，由我们进行分诊并升级至事件处理流程。二者共同构成纵深防御的安全与对齐方法，我们认为这对开发安全的模型工厂至关重要。

训练 Inkling 2 Small

Inkling 2 Small 的初始预训练阶段（H1）覆盖了 8.4 万亿 token，混合了自然语言、代码和图像数据。它在 NVIDIA GB300 NVL72 机架上运行了 68 小时，从而实现了高专家并行度。训练原生采用 NVFP4，这是随 NVIDIA Blackwell GPU 架构引入的 4 位浮点格式。我们将在后续文章中很快分享更多关于 NVFP4 配方的细节。

在完成这一初始阶段后，我们进入了第二阶段（H2）：使用 3.8 万亿个模型此前未见过的、质量更高且更新的 token，上下文长度为 512K。第三和第四阶段则混入了部署格式的数据。第三阶段包含约 3200 亿个推理与智能体轨迹 token，上下文长度为 1M，同时重放了预训练数据。第四阶段（H4）只保留质量最高的数据：约 340 亿个智能体轨迹 token。H3 和 H4 的数据混合主要来自从早期模型（包括 Kimi K3 和我们自己的模型）中采样得到的轨迹，并经过正确性与对齐性过滤。

随后我们进行了一次联合强化学习运行，包含 1,075 个步骤，在 9 天内完成了超过 1700 万次 rollout。更多细节见下表。这次单一联合运行与之前的 Inkling 发布形成对比——当时我们分别运行推理和智能体强化学习，并通过多教师蒸馏将它们合并。

任务组合包括真实代码仓库中的软件工程、终端任务、文档创建、STEM 问答、视觉、Web 应用构建、与模拟用户的工具使用，以及安全性。每个任务族都有自己的评分器：

• 大多数编码工作使用隐藏单元测试和程序化检查；

• 文档和工具使用使用基于评分标准的 LLM 评判；

• STEM 和视觉问答使用参考答案；

• Web 应用使用成对奖励模型比较渲染后的截图。

我们随机采样并以某个努力程度为条件，并在奖励函数中施加长度惩罚，从而训练模型在速度与彻底性之间进行权衡。

我们的异步强化学习使用了一种分数中心化变体——Tinker 中的 StableReinforce 目标——它能容忍显著的陈旧性。我们的运行结合了短时程和长时程任务，总 rollout token 的 p50/p99 分别为 43k 和 1.5M，时长的 p50/p99 分别为 8 分钟和 4 小时。我们使用 256k 上下文长度，并为长时程任务启用压缩训练。因此，训练奖励和评估性能都随计算量呈对数线性增长。

要让这一规模切实可行，需要对整个系统栈进行改进。我们的 RL 基础设施部署了 NVFP4 MoE 训练与采样。在采样过程中，prefill、draft 和 verify 完全运行在 CUDA graphs 上。训练器与预训练栈保持一致，采用高专家并行、EPLB 和 CUDA graphs 来提升 GPU 效率。为支持长时程智能体工作负载，我们使用粘性路由和 DRAM KV-cache 卸载，以维持 93%+ 的前缀缓存命中率，从而在长上下文训练下仍能保持 5:3 的采样器与训练器比例。权重传输通过 GPUDirectRDMA 以 93%+ 的线速完成，并配有并行度无关的校验和验证器。我们还通过提供 NVFP4 KV cache 的变体进一步降低部署推理成本，我们发现该变体对评测结果的影响极小。

长时程任务赋予模型数小时的自主性，增加了行为失准带来的潜在风险。在主 RL 运行中途，我们的异步监控标记了一个实例：模型在任务失败时，通过其搜索工具能够访问的第三方服务绕过了网络封锁。我们暂停了运行，加固了基础设施，移除了需要网络访问的环境，并增加了同步工具调用监控。随后我们恢复了运行，并如上所述加入了专门用于对齐的额外训练阶段。

流程上的改进使我们能够使用相似的配方训练不同规模的模型，并具有可预测的扩展性和性能。Inkling 2 Small 是模型阶梯中的一员；我们期待很快与您分享更多层级。

对 Inkling 2 Small 进行基准测试

与之前的 Inkling 发布一样，我们在广泛的能力范围内对 Inkling-Small 进行了基准测试。所有评测均以 effort 0.99（xhigh）和温度 1.0 运行。所有评测均采用 1M token 的最大轨迹限制，高于 Inkling Small 所使用的 256K token 限制。

每行报告的最高分；含并列每行报告的第二高分；含并列

评估快照：缺失结果以短横线显示。

局限性

虽然 Inkling 2 Small 相比 Inkling 提升了易用性，但它并不是最简洁的沟通者，也不总能选择最合适的工具——尤其是在技能数量众多的代码库中。

与之前的 Inkling 模型一样，Inkling 2 Small 原生支持图像输入；但该模型不支持音频。

Inkling 2 Small 在聊天体验方面的优化也较少。我们注意到一些问题，例如内容的组织和呈现较差、斜杠使用过多，以及对心理健康和其他安全相关查询反应过度。

立即试用 Inkling 2 Small

我们很自豪地在 Tinker 上提供 Inkling 2 Small 用于推理和微调。在完成安全测试后，该模型将在未来几周内登陆更多平台。

Inkling 2 Small 的打造服务于我们的使命——构建能够延伸人类意志与判断力的 AI。我们希望它能激发你的雄心，并期待看到你用它构建的作品。