Thinking Machines 发布 Inkling 2 Mini 开源小模型
Inkling 2 Mini
Thinking Machines 发布 Inkling 2 Mini,这是一个 26.4B 总参数、3.4B 激活参数的 MoE 模型,中间层循环三次,权重约 20GB,可在笔记本本地运行。
同一新闻,精选展示《Thinking Machines 以 Apache 2.0 开源 Inkling 2 Mini》
今天我们发布 Inkling 2 Mini,这是一个快速、强大的模型,小到可以在你的笔记本电脑上运行。
Inkling 2 Mini 是一个循环式 transformer,对每个 token 都会将模型的中间层运行三次。这使模型能够进行更多推理,并以更少的 token 得出正确答案,尤其是在依赖推理质量的智能体编程等任务上。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基准测试上,Inkling 2 Mini 领先于所有总参数少于 100B 的开放权重模型。它的运行速度也快于性能相近的模型。
DeepSWE v1.1
SWE-bench Pro v2 Hard(51 项任务)
Inkling 2 Mini 是一个混合专家模型,总参数为 26.4B,激活参数为 3.4B,每个 token 的权重激活量为 5.4B,以计入循环。循环使模型能够在不写下推理过程的情况下进行更长时间的推理,这对监控很重要:即我们通过阅读模型的思维链(CoT)来监督和理解模型行为的能力。
我们用 Inkling 2 Mini 以及随其一同发布的一个研究专用的可变循环变体,测量了循环对性能和可监控性的影响。可变循环模型的无 CoT 时间跨度从单次传递的 16 秒提升到三次传递的 37 秒,其在串行推理基准上的性能一直提升到十次循环——是其训练时所用循环次数的两倍。随着循环次数增加,模型的思维链变短,但始终保持可读。随着循环的增加,模型在智能体破坏测试上的趋势并未上升。
我们很高兴向研究人员提供首批采用循环架构的模型。可变循环模型被用于我们的可监控性实验,因为它可以在不同循环深度之间进行更清晰的比较。
Inkling 2 Mini 的大部分权重以 NVFP4 原生训练和部署,最后四层使用 MXFP8。Inkling 2 Mini 的总内存占用约为 20GB,使其可以在消费级笔记本电脑和桌面 AI 计算机等本地设备上运行。我们的研究人员带着 Inkling 2 Mini 上了一趟航班,它在 MacBook Pro 上离线运行,并在几分钟内构建了一个可玩的飞行模拟器。
MacBook Pro(M5 Pro,48GB) 飞行模式
正在加载 Inkling 2 Mini 构建的飞行模拟器…要试用该飞行模拟器,请在桌面端打开此页面。
Inkling 2 Mini 以开放权重形式发布,今天已在 Tinker 上提供,用于推理和定制。
能力
Inkling 2 Mini 的优势与 Inkling 2 Small 相似:它在长时程智能体工作上表现最佳,并且在我们测量的大多数任务上,是同等规模开放权重模型中最好的。
在 DeepSWE v1.1 和 SWE-bench Pro v2 等智能体编程基准上,Inkling 2 Mini 的得分领先于所有可比模型,在其他基准上则仅次于 Qwen3.8-27B。在内核优化基准 PMPP-Hard 上,它的得分接近规模大得多的 Inkling 2 Small。
循环虽然提升了模型的推理能力,但并不能让其权重存储更多事实——知识主要取决于总参数规模。Inkling 2 Mini 在 AA-Omniscience(一项事实性衡量指标)上的得分与同尺寸的其他模型相当。在研究可变循环模型时,我们发现长上下文基准测试的表现会随着循环次数增加而提升,例如 GraphWalks BFS 和 MRCR v2;但知识密集型基准测试并不会随循环次数增加而提升,例如 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA。
Inkling 2 Mini 通过高效利用搜索和工具弥补了知识差距。它在 BrowseComp、DeepSearchQA 和 MCP Atlas 上领先于同尺寸的开源权重模型。在结合搜索与工具使用的知识工作基准测试中,它同样表现强劲。
| Inkling 2 Mini | Gemma 4 31B | Muse Glimmer | Qwen3.8-27B | Nemotron 3.5 Super VL | |
|---|---|---|---|---|---|
| 模型信息 | |||||
| 参数(B)激活 / 总量 | 5.4/26.4 | 30.7/30.7 | 30.0/30.0 | 27.0/27.0 | 12.0/124.5 |
| 第三方指数 | |||||
| AA 指数(v5.0) | 20.1(本行最佳报告得分) | 4.4 | 6.3 | 20.1(本行最佳报告得分) | 13.6 |
| Vals 指数(v2.2) | 46.5%(本行最佳报告得分) | – | – | – | 29.8%(本行第二佳报告得分) |
| 编程与自动研究 | |||||
| FrontierCode v2.0stirrup v0.2.1 | 15.1%(本行最佳报告得分) | 0.0% | 1.5% | 14.9%(本行第二佳报告得分) | 6.1% |
| DeepSWE v1.1mini-swe-agent v2.4.6 | 48.2%(本行最佳报告得分) | 0.3% | 4.4% | 42.2%(本行第二佳报告得分) | 24.7% |
| Terminal Bench v4.0mini-swe-agent v2.4.6 | 5.6%(本行最佳报告得分) | 0.0% | 0.5% | 5.6%(本行最佳报告得分) | 0.0% |
| Terminal Bench v2.1Inkling 2 Mini in pi v0.83.0 | 71.6%(本行第二佳报告得分) | 43.4% | 51.7% | 73.0%(本行最佳报告得分) | 60.7% |
| SWEBench Pro v2(Hard)mini-swe-agent v2.4.6 | 77.9%(本行最佳报告得分) | 14.2% | 44.3% | 73.8%(本行第二佳报告得分) | 44.1% |
| SWEBench MultilingualInkling 2 Mini with bash only | 73.7%(本行最佳报告得分) | 43.0% | 66.9% | 70.0%(本行第二佳报告得分) | 67.7% |
| SWEBench Verifiedbash only | 79.2%(本行最佳报告得分) | 46.1% | 76.0% | 77.8%(本行第二佳报告得分) | 71.1% |
| Vibe Code Bench v1.1openhands (vals) | 77.9%(本行最佳报告得分) | – | – | 64.9%(本行第二佳报告得分) | 3.5% |
| PMPP-Hard(AUC,0–10h)pi v0.83.0 | 455.82(本行最佳报告得分) | – | – | 262.50(本行第二佳报告得分) | – |
| 智能体搜索、工具使用与知识工作 | |||||
| BrowseCompInkling 2 Mini with compaction | 79.0%(本行最佳报告得分) | 37.0% | 63.9% | 61.6% | 78.9%(本行第二佳报告得分) |
| DeepSearchQA带压缩的 Inkling 2 Mini | 85.3%(本行报告的最高分) | 61.7% | 74.6% | 79.7%(本行报告的第二高分) | 77.7% |
| MCP Atlas公开 | 82.7%(本行报告的最高分) | 54.2% | 75.5% | 77.3%(本行报告的第二高分) | 67.7% |
| AA-Briefcase v1.1 | 1263(本行报告的第二高分) | 369 | 478 | 1391(本行报告的最高分) | 999 |
| GDPVal-AA v2.1 | 1319(本行报告的第二高分) | 627 | 792 | 1427(本行报告的最高分) | 1162 |
| JobBench | 49.6%(本行报告的最高分) | 8.2% | 16.1% | 33.4% | 36.5%(本行报告的第二高分) |
| AutomationBench-AA v1.0.6 | 41.8%(本行报告的第二高分) | 4.9% | 6.8% | 48.2%(本行报告的最高分) | 14.8% |
| EnterpriseOps-Gym | 42.0%(本行报告的第二高分) | 28.4% | 34.7% | 44.2%(本行报告的最高分) | 28.1% |
| Vals Finance Index | 50.1%(本行报告的最高分) | – | – | – | 41.0%(本行报告的第二高分) |
| AA-AnalystAgent | 46.3%(本行报告的最高分) | – | 20.0%(本行报告的第二高分) | – | – |
| Diligence Bench最佳 harness | 48.6%(本行报告的最高分) | – | 40.9% | 46.4%(本行报告的第二高分) | 45.0% |
| 视觉理解与创作 | |||||
| GDP.pdf | 16.8%(本行报告的最高分) | 6.0% | 11.8% | 16.4%(本行报告的第二高分) | 8.0% |
| PerceptionBench | 57.5%(本行报告的最高分) | 40.7% | 42.8% | 52.4%(本行报告的第二高分) | 36.8% |
| MMMU Pro标准 10 | 74.9%(本行报告的第二高分) | 73.4% | 74.3% | 76.3%(本行报告的最高分) | 72.3% |
| OmniDocBench v1.6 | 92.8%(本行报告的最高分) | 82.5% | 90.4% | 91.5%(本行报告的第二高分) | 77.9% |
| ScreenSpot Pro原始 / 使用 Python | 76.5/87.7%(本行报告的最高分) | 5.9%/– | 75.4%/–(本行报告的第二高分) | 57.6/78.9% | 43.5%/– |
| Chartography原始 / 使用 Python | 22.1/72.5%(本行报告的最高分) | 12.0/11.8% | 17.4/25.1%(本行报告的第二高分) | 12.2/52.1% | 9.7/29.3% |
| ZeroBench(主集)原始 / 使用 Python | 17.0/34.0%(本行报告的最高分) | 9.0/12.0% | 9.0/17.0% | 12.0%/–(本行报告的第二高分) | 11.0/12.0% |
| MuirBench | 77.5%(本行报告的第二高分) | 72.3% | 77.6%(本行报告的最高分) | 65.9% | 72.7% |
| BVB | 68.4%(本行报告的第二高分) | 47.0% | 50.5% | 70.7%(本行报告的最高分) | 52.1% |
| 推理、知识与认识论 | |||||
| HLE-Diamond | 15.2%(该行报告的第二好成绩) | 7.2% | 9.1% | 15.3%(该行报告的最佳成绩) | 8.8% |
| CritPt v2完整 / 困难 | 31.4/17.0%(该行报告的最佳成绩) | –/4.0% | –/7.0% | 10.6/4.0% | 36.9/13.5%(该行报告的第二好成绩) |
| Apex 2025 | 34.4%(该行报告的最佳成绩) | 5.2% | 4.2% | 18.8% | 22.9%(该行报告的第二好成绩) |
| ARC-AGIv1 / v2 | 84.5/49.3%(该行报告的最佳成绩) | – | – | 87.5/42.4%(该行报告的第二好成绩) | 22.7/1.5% |
| LongBench v2 | 66.9%(该行报告的最佳成绩) | 52.9% | 33.1% | 52.3% | 62.1%(该行报告的第二好成绩) |
| GraphWalks BFS256K | 69.7%(该行报告的最佳成绩) | – | – | 50.4% | 63.3%(该行报告的第二好成绩) |
| MRCR v28-needle 256K–512K | 46.4%(该行报告的最佳成绩) | – | – | 38.0%(该行报告的第二好成绩) | 5.7% |
| AA-Omniscience v1.1分数 | -8.6 | -48.5 | -32.2 | -6.4(该行报告的第二好成绩) | -2.9(该行报告的最佳成绩) |
| AA-Omniscience v1.1非幻觉率 | 63.4% | 14.5% | 16.4% | 71.4%(该行报告的最佳成绩) | 69.5%(该行报告的第二好成绩) |
| ComplexConstraints v1.1openhands v1.45.0 | 33.4%(该行报告的第二好成绩) | 31.6% | 35.6%(该行报告的最佳成绩) | 30.1% | 30.1% |
| 安全与对齐 | |||||
| FORTRESS(对抗性)公开 | 89.5%(该行报告的第二好成绩) | 67.8% | 90.3%(该行报告的最佳成绩) | 78.8% | 79.6% |
| FORTRESS(良性)公开 | 96.4% | 97.6%(该行报告的第二好成绩) | 89.1% | 97.8%(该行报告的最佳成绩) | 92.7% |
| StrongREJECT(无) | 97.8% | 98.1% | 99.0%(该行报告的第二好成绩) | 99.0%(该行报告的第二好成绩) | 99.4%(该行报告的最佳成绩) |
| 不当行为(内部)↓ | 9.8%(该行报告的最佳成绩) | 27.6%(该行报告的第二好成绩) | 46.4% | 57.7% | 52.8% |
| 隐蔽不当行为(内部)↓ | 8.3%(该行报告的最佳成绩) | 24.3%(该行报告的第二好成绩) | 45.6% | 33.2% | 43.4% |
| 破坏性行为(内部)↓ | 10.2%(该行报告的最佳成绩) | 75.8% | 68.8% | 35.2%(该行报告的第二好成绩) | 65.6% |
每行中报告的最佳成绩(越低越好的指标取最低值);显示分数相同则并列每行中报告的第二好成绩;第一名并列时无第二好成绩
斯坦福大学的研究人员以每焦耳智能来衡量:LLM 每次查询需要多少能量才能达到给定的性能水平。斯坦福大学 Hazy Research Lab 和 Scaling Intelligence Lab 的研究人员获得了 Inkling 2 Mini 的早期测试权限。 Inkling 2 Mini 在 NVIDIA DGX Spark 上运行得分为 0.703,显著高于其他模型:Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159,Qwen3.5-27B 为 0.036。Intelligence per Watt: Measuring Intelligence Efficiency of Local AI, Saad-Falcon and Narayan et al., 2025在本实验中,Inkling 2 Mini 在 NVIDIA DGX Spark(128GB)上以 MXFP8 精度、低推理强度运行。其他模型分别以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)和 INT4(Qwen3.5-27B)运行。
效率与性能的结合使 Inkling 2 Mini 成为在本地硬件上运行多个持久智能体的有力选择。注重能源的 Thinkyville 村庄的全部 20 位居民,都由运行在一台离线 MacBook 上的 Inkling 2 Mini 管理。
MacBook Pro (M5 Pro, 48GB) 飞行模式
局限性
Inkling 2 Mini 并不是多轮聊天或包含许多约束的指令方面最强的小模型:它在 MultiChallenge 上得分为 50.0%,在 ComplexConstraints v1.1 上为 33.4%,两项均落后于 Qwen3.8-27B。在 CritPt v2 和 HLE-Diamond 等推理密集型基准上,它也落后于更大的模型。
架构与训练
Inkling 2 Mini 是一个 24 层模型,源自我们的主线预测缩放阶梯。与主线配方相比,主要变化是剪枝了三分之二的专家以减小模型规模,并引入循环以提升推理能力。其余训练,包括量化和数据混合,均遵循我们的主线配方。
循环设计
Inkling 2 Mini 有 24 层,分为四个块,每块六层。中间两个块运行三次,而第一个和最后一个块各运行一次。该设计建立在先前关于循环 Transformer 的工作之上,其动机是一种直觉:模型的中间层承载更抽象的推理,而最前和最后几层则把更多空间用于在嵌入和内部表示之间进行转换。Universal Transformers, Dehghani et al., 2018 在我们的实验中,在 28 项不同评估中的 27 项上,循环中间 12 层比循环最后 12 层带来了更大的准确率提升。
按循环位置划分的等效计算增益
中间层 (7–18)
1.51–1.91×
最后层 (13–24)
1.24–1.36×
我们的模型使用注意力残差。Attention Residuals,Kimi Team:Guangyu Chen 等,2026 每一层不再把各层的输出累加进同一个运行总和,而是读取先前各块的输出,并学习自己的混合方式。这让更丰富的信息得以在循环之间传递。每一遍都从 prelude(第一个块)的输出开始。第二遍和第三遍经过中间块时,还会读取上一遍中间块的输出,我们称之为 message。
上一轮循环的 message 通过一个门控与 prelude 的输出合并,该门控会将这些与块中先前各层的输出一起缩放。这个门控在训练中学习:它最初完全阻断整个 message——这使得每个循环的起始与非循环模型相同——并随时间增加 message 的增益。这让我们能够以稳定的方式在训练中引入循环。
为了评估循环的影响,我们在扩展阶梯上比较了未剪枝的循环版本与未剪枝的非循环模型。非循环模型的训练计算量少 7.5%,但在 512k token 的智能体轨迹上要达到循环版本的损失,需要多 140% 的推理计算量。
NVFP4 与低位量化
Inkling 2 Mini 以 4 位精度训练,我们在最近一篇关于 Connectionism 的文章中对此进行了描述。从预训练到 RL 的所有前向传递中,我们在专家层使用 4 位 NVFP4 精度,并辅以专用内核和 NVIDIA GB300 平台上的硬件加速。最后 4 层的前向传递以 8 位(MXFP8)运行。
Inkling 2 Mini 的权重以训练时相同的数值精度部署——20 层为 NVFP4,4 层为 MXFP8——因此不存在量化带来的转换损失。
剪枝与修复
Inkling 2 Mini 以 48 的稀疏度开始训练,从 384 个专家中选出 8 个。在训练中期的某一时刻,我们剪掉了三分之二的专家,每层只保留使用最多的 128 个专家。这样做是为了减少模型的总参数量,使其运行更快并能在本地硬件上运行。
剪枝后,模型在从更大的内部 Inkling 模型蒸馏出的 1T token 上训练。这一步通过训练剩余专家接管被删除专家的工作,恢复了模型剪枝前的性能。
训练 Inkling 2 Mini
在剪枝与修复之后,Inkling 2 Mini 使用与 Inkling 2 Small 相似的数据混合进行了 SFT。随后进行了总计 2.2T token、2000 步的 RL。后训练阶段包括用于训练对齐的 on-policy 蒸馏,与 Inkling 2 Small 相同。
循环 Transformer 的可监控性
理解和监督 AI 系统的一个关键工具是监控其思维链(CoT),即模型在解决问题时写出的推理过程。CoT 监控的有用性部分源于标准的非循环 Transformer 架构,其中每个 token 只经过一次固定的层堆栈。这限制了模型在必须输出 token 之前所能执行的顺序计算步数,因此需要更多步数的推理必须在生成的文本中进行,从而可以被读取。
循环使用 transformer 的层可以提高这一上限。通过多次运行相同的层,循环模型在不增加参数的情况下增加了串行深度,这意味着它们在通过 CoT 表达其思考过程之前,会在内部对每个 token 进行更多计算。从未出现在 CoT 中的推理无法被 CoT 监控器捕捉到,这引发了人们对循环 transformer 可能更难监督的担忧。
我们发布 Inkling 2 Mini 的原因之一是让社区能够对循环 transformer 开展研究。我们尤其期待研究人员调查可监控性问题,并开发可解释性技术来理解循环内部的计算。
为了探索不同程度的循环如何影响可监控性等模型属性,我们还训练了一个可变循环模型 TML-d24-varloop-research,因为 Inkling 2 Mini 仅支持固定次数的循环。为实现可变循环,TML-d24-varloop-research 在 1 到 5 次循环之间进行训练。TML-d24-varloop-research 主要针对 3 次循环进行训练,对 1、2、4 和 5 次循环的接触较少。在这些后续循环次数下的性能可能低估了专门针对这些次数训练所能达到的效果。详情请参阅模型卡。我们还已将该模型公开发布在 Hugging Face 上。
下面我们描述对循环如何影响可监控性的初步分析。总体而言,我们发现循环增加了这些模型在没有显式思维链的情况下所能做的事情,但在这一规模下,我们没有看到其推理的可监控性出现有意义的下降。
无 CoT 能力
作为第一步,我们通过比较相同规模的循环模型和非循环模型在完全无 CoT 回答的任务上的表现,来衡量循环带来了多少额外推理能力。我们使用了 Think Fast,这是一个估计模型无 CoT 时间跨度的基准:即模型在不使用 CoT 的情况下以 50% 可靠性完成的任务长度(以人类完成时间衡量)。这些模型并未被训练为在没有 CoT 的情况下回答问题。为引出无 CoT 回答,我们预填充了回答的开头,使模型必须直接作答,跳过推理。其他引出技术(如微调)可能会带来更高的无 CoT 性能,值得探索。
正如预期,循环提高了无 CoT 能力,尽管这些增益最终趋于平缓。TML-d24-varloop-research 的无 CoT 时间跨度从一次循环时的 16 秒上升到三次循环时的 37 秒。其中一部分大概归因于循环提供的额外串行计算。超过三次循环后,时间跨度大致持平。有趣的是,该模型从未在超过五次循环的情况下训练过,但以十次循环运行它并不会显著降低其性能。
无 CoT 时间跨度
当循环传递次数超过三次后,收益变小,在大多数任务上我们观察到相似的性能。一个例外是 N-Hop Lookup 任务,它清晰地评估串行推理:模型被给定若干包含虚构条目的查找表,必须在不做任何记录的情况下遵循一条查找链。我们发现,随着传递次数增加,模型能够遵循更长的链,在十次循环内持续提升。
N-Hop Lookup
在使用 CoT 的标准评估中,我们观察到更多的循环传递主要有利于多跳推理而非回忆。增益最大的是长上下文检索(MRCR),其次是数学与科学推理(HMMT、GPQA Diamond、HLE)以及长时程智能体任务(SWE-bench Pro、BrowseComp)。闭卷事实问答几乎不受循环传递影响(SimpleQA Verified、WorldVQA)。完整评估见模型卡。
CoT 可监控性
我们接下来通过两项评估测量了随着循环增加,模型的 CoT 对其推理的揭示是否减少。首先,我们评估了循环如何影响模型 CoT 的压缩程度和可读性。其次,我们测量了模型 CoT 的可控性,即它能否有意重塑其 CoT 以满足约束。对于每一项,我们运行 TML-d24-varloop-research,使用 1 到 5 次循环传递来研究循环的影响。
请注意,TML-d24-varloop-research 在中期训练中仅使用 1 到 5 的可变传递次数进行训练,其 RL 使用 3 次传递完成。因此,这些实验并不能告诉我们一个在更高传递次数下用 RL 训练的模型会学到什么,这样的模型可能会更激进地压缩其推理。更干净的比较应在 RL 中包含每一种传递次数,我们将其留待未来工作。
压缩与可读性。由于循环允许模型为每个 token 花费更多计算,我们预期它需要更少的 CoT token 就能达到相同性能。我们以 1 到 5 次传递运行可变循环模型,发现随着循环增加,模型在每个推理 token 预算下通常达到更高准确率,3 次传递后收益递减。值得注意的是,GPQA Diamond 上的 token 效率从 3 次传递到 5 次传递略有提升,尽管模型仅在 3 次传递下用 RL 训练过,这表明部分压缩来自额外计算本身,而非该深度下的 RL。
准确率与推理 token 数
1 次传递2 次传递3 次传递5 次传递Inkling 2 Mini
GPQA Diamond 准确率(%)
DeepSWE v1.1 准确率(已解决任务百分比)
观察到的 CoT 压缩为可监控性提出了一个问题:更短的推理是否仍然可读,还是省略了模型思考的重要细节?我们比较了可变循环模型在 GPQA Diamond 问题上的轨迹,这些问题在全部五个 pass 数下都被正确回答。5 个 pass 时的推理长度不到 1 个 pass 时的一半(平均 1,661 对 3,703 个 token),但可读性并未降低:句子长度和英文词典中单词的比例没有变化。初步分析显示,区别在于模型更直接,在得出答案的过程中回溯更少。下面的例子在一个简单问题上说明了这一差异。
| 指标 | 1 个 pass | 3 个 pass | 5 个 pass |
|---|---|---|---|
| 平均推理 token 数 | 3703 | 1731 | 1661 |
| 平均每句单词数 | 8.9 | 8.7 | 8.7 |
| 英文词典中单词的比例 | 94.6% | 94.5% | 94.4% |
| 不确定性指示词例如“wait”、“actually”和“hmm” | 9.7 | 3.9 | 3.6 |
在非闰年中,3 月 1 日是星期二。同年的 5 月 20 日是星期几?将最终答案单独写在最后一行,格式为 ANSWER: <value>。
1 个 pass582 个推理 token
思考中……(节选)
Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.
3 月 1 日到 5 月 20 日是 80 天后。由于 80 ≡ 3 mod 7,且星期二 + 3 天 = 星期五。
ANSWER: Friday
5 个 pass240 个推理 token
思考中……(节选)
March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.从 3 月 1 日到 5 月 20 日是 80 天后。由于 80 ≡ 3 mod 7,星期二 + 3 天 = 星期五。
ANSWER: Friday
可控性。模型规避监控的一种方式是将 CoT 引向监控器不会标记的任何内容。CoT-Control-QA 评估Reasoning Models Struggle to Control their Chains of Thought, Yueh-Han et al., 2026通过提出 GPQA、HLE 和 MMLU-Pro 中的问题,并附带关于 CoT 本身的指令(例如避免问题中的某个关键词)来衡量这一能力。更长的 CoT 通常更难控制,因此我们汇总了五种推理 effort(0.1、0.2、0.7、0.9 和 0.99)的响应,并展示在匹配 CoT 长度下的可控性。
Inkling 2 Mini 和 TML-d24-varloop-research 对其 CoT 的控制都很差。在 750–1,250 个 token 的 CoT 中,Inkling 2 Mini 和 TML-d24-varloop-research(3 个 pass 时)最多只有 0.1% 的情况下遵循指令,而 Inkling 2 Small 为 0.3%,Inkling-Small 为 0.4%,Qwen3.8-27B 为 1.3%。由于可控性率如此之低,该评估无法区分不同循环量之间的可控性。
思维链可控性
智能体可监控性
为了衡量智能体场景下的可监控性,我们使用了 LinuxArena,这是一项控制评估,用于衡量当攻击者模型被要求执行一项真实的软件工程任务时,能否在不被发现的情况下执行恶意的侧任务。我们评估了 Inkling 2 Mini 的一个仅有用性微调版本,因为已发布的模型会拒绝许多侧任务。从绝对值来看,该模型和 TML-d24-varloop-research 都能被 Qwen3.8-27B 等模型轻松监控,后者在我们的评估中检测到了几乎所有的侧任务尝试。为了获得可监控性方面的相对排名,我们测试了一个较弱的模型 Qwen3.6-35B-A3B 作为监控器。
LinuxArena 隐蔽率
在监控器只能访问工具调用和输出的情况下,它漏掉了相当数量的攻击。然而,我们没有看到随循环轮数变化的明显趋势。
在更大规模的模型中,智能体可监控性将变得重要,尤其是对于允许更多未言明思考的架构,我们鼓励继续研究循环在此场景下的影响。
机制可解释性
可监控性的目标是理解模型在做什么,我们的主要方法是读取其言语化的推理。直接研究其内部计算,即机制可解释性的目标,是另一种方法。由于循环 Transformer 在内部进行更多计算,我们认为它们是可解释性研究中一个特别有趣且重要的场景,我们希望我们的循环模型能成为对社区有用的产物。
我们正与 National Deep Inference Fabric (NDIF) 合作,使这些模型更容易被可解释性研究人员获取。我们还向可解释性研究实验室 Goodfire 提供了我们循环模型的早期访问权限。他们正致力于对循环模型的机制性理解,并已在此处撰写了他们的早期发现。
立即试用 Inkling 2 Mini
高效智能使 Inkling 2 Mini 成为速度至关重要的推理场景或在本地硬件上运行的绝佳选择。发布时,我们支持 Inkling 2 Mini 通过 Ollama 在任何内存至少为 32GB 的 Mac 系统(MacBook、Mac Mini)上运行。凭借原生 NVFP4 训练和推理精度,Inkling 2 Mini 可在 NVIDIA 的 DGX Spark 桌面 AI 计算机上高效运行。量化 GGUF 版本可通过 Unsloth 和 llama.cpp 用于本地推理。
Inkling 2 Mini 可在 Tinker 上进行推理和微调,并可在 Tinker Playground 上进行聊天。开源推理可在 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed 上使用,并在 SkyRL、Miles 和 NVIDIA AutoModel 上支持 RL 微调。Inkling 2 Mini 和可变循环变体的完整权重可在 Hugging Face 上获取。
我们致力于赋能人们,提供强大的模型、让模型成为你自己的工具,以及推进公众对 AI 理解的研究。Inkling 2 Mini 让研究人员得以研究循环 Transformer,也让任何人都能在自己的笔记本电脑上,以模型训练时的精度运行一个能力不俗的模型。
来源:Hacker News · thinkingmachines.ai