跳到正文
RadarAI· X:Thinking Machines (@thinkymachines)·· 23 小时前AI 评分58

Thinking Machines 研究 Inkling 2 Mini 循环 Transformer 的可监控性

Inkling 2 Mini 循环 Transformer 可监控性研究

AI 导读

Thinking Machines 介绍 Inkling 2 Mini 是一个 24 层循环 Transformer,中间 12 层循环三次,首尾各六层只运行一次。团队表示循环让模型在少写的同时进行更多推理,由此引发对可监控性的担忧,并在发布过程中对此进行了研究。

正文 · 原文

Thinking Machines· @thinkymachines · X·2026-11-21 04:10· 1 小时前AI 评分42

AI 导读

Inkling 2 Mini 是一个 24 层的循环 Transformer。中间 12 层循环三次;首尾各六层只运行一次。 循环让模型在少写的同时进行更多推理,这引发了对可监控性的担忧。我们在发布过程中对此进行了研究。

正文 · 原文

Inkling 2 Mini is a looped transformer with 24 layers. The middle 12 layers loop three times; the first and last six run once.

Looping lets a model reason more while writing less, which has raised concerns about monitorability. We studied this as part of our release.

来源:Thinking Machines · x.com

事件后续 · 1

查看事件全部

来源:RadarAI · aihot.news