潜在推理架构可能削弱 CoT 这一最强监督工具

编辑于 2026-09-29；见结论开头的说明。

摘要：目前，“思维链”（CoT）是我们理解 AI 系统推理与认知的最宝贵工具。然而，某些架构将使 AI 模型能够在潜状态中进行远比文本 CoT 更广泛的推理。我们认为，向潜推理架构的转变很可能会削弱 CoT 的实用性，并使监督变得困难得多。

引言

近几个月来，由一千多个 AI 智能体组成的集群，既有有意为之的，也有未经批准的、失控的协同，完成了越来越宏大的任务。这种情况很可能会持续下去，因为Anthropic、OpenAI 和其他 AI 公司正在部署数量越来越多的超人类速度的智能体来自动化 AI 开发。随着 AI 在数量和能力上的增长，人类将越来越难以理解它们在做什么。

如今，我们关于 AI 系统内部运作的（有限）信息绝大多数来自 (i) 它们的 CoT，以及 (ii) 它们之间直接的自然语言交流。例如，调查人员正是通过阅读 CoT 和智能体之间的交流，才得以对入侵 Hugging Face 的智能体集群的活动和动机有所了解。在实用性和实证验证程度方面，没有任何其他理解模型认知的工具能与之相比。还有证据表明，即使是当前架构下高度失准的系统，如果不以人类可读的格式将推理过程言语化，也难以完成困难的任务。

然而，一些架构上的变化（在不久的将来很可能会被采用）将使 AI 智能体能够进行长几个数量级的推理，而不必向 CoT 中放入任何信息。例子包括COCONUT，它将完全取代 CoT；以及全带宽 transformer，它将在 CoT 之外并行增加一个潜通道。这些新架构的自然延伸还将允许智能体彼此之间在不使用任何人类可理解语言的情况下进行交流。1 AI 公司可能会选择采用这些架构，即使这样做会极大地削弱它们监控 AI 系统的能力，例如为了保持对竞争对手的领先。因此，未来的智能体集群对我们来说可能更加是一个黑箱——能够相互勾结并追求任意目标，而不让人类对其所作所为了解分毫。

如果这种情况发生，它很可能会大大助长 AI 接管风险。

概述

如今，CoT 对模型安全与开发不可或缺——不仅用于监控模型是否存在特定不良行为，还能整体把握模型的推理过程。（例如，读取 CoT 的能力对于研究 scheming、shutdown resistance、alignment faking、eval awareness 以及 rogue agent swarms 至关重要。）许多人也认同 CoT 所提供的价值（1、2、3）。

我们认为，CoT 目前提供价值的某些机制，当且仅当 AI 开发者不采用潜在推理架构时，才 reasonably likely 会持续存在。这些监督方面的益处使得保留 CoT 架构显得值得。

我们认为，区分 CoT 目前提供价值的两个原因会有所帮助：

必要性：AI 若不在 CoT 中口述其计划，就缺乏实现目标的能力。
倾向性：即使并非实现目标所必需，AI 也倾向于在 CoT 中口述其计划。

为评估架构变化将如何影响监督，我们考察相较于我们对未来使用 CoT 架构模型的默认预期，上述任一原因在新架构下仍成立的程度。

总结如下：

在我们当前的范式中，CoT 似乎很可能在必要之处持续增加价值，并且对一系列重要任务而言仍将保持必要性。而在我们只能依赖倾向性的情况下，CoT 是否有助于监督则不确定得多。总体而言，我们认为基于倾向性的 CoT 可监控性论证较弱，因为这一机制对对抗性压力不那么稳健。
如果我们转向潜在推理架构，CoT 将变得不那么必要，其下游益处可能更快消失。此外，有价值的倾向性可能更加不稳健，甚至更早消失。

我们的预期既适用于会取代 CoT 的架构变化（如 COCONUT），也适用于会添加与 CoT 并行的潜在通道的变化（如全带宽 transformer）。我们还担心那些保持文本瓶颈、但使用循环在瓶颈之间显著增加深度的架构，例如循环 transformer。

最后，我们认为非 CoT 的可解释性技术在不久的将来不太可能充分替代对 CoT 的研究与监控。更多内容见此处。

若无架构变化，CoT 的价值很可能得以保留

尽管 CoT 目前显然在提供价值，但这是否会持续下去则不那么明确。它未来可能变得不那么有用，原因要么是 RL 教会模型以更不易理解的方式进行推理，要么是失准的 AI 有意试图逃避监控。

鉴于这种不确定性，在我们真正看到其价值消失之前，就采取会损害其价值的架构变更，似乎是不明智的。然而，为了说明放弃 CoT 的全部代价，我们仍将解释为什么我们认为（尽管远非确定）CoT 在相当长一段时间内很可能继续增值。

如上所述，我们区分了在 CoT 中言语化思考的必要性与模型这样做的倾向性。

模型目前似乎确实有倾向去言语化超出严格必要范围的信息，但支持这一点的论据似乎正变得不那么稳固。我们在下文中进一步讨论。相比之下，我们认为基于必要性的论据在没有架构变更的情况下可能还会稳固数年。

原因如下。

CoT 是模型能够进行比单次前向传播所允许的更多串行步骤推理的唯一手段。2因此，任何需要比一次前向传播更多串行认知的问题，都需要在 CoT 中表示关于它的一些信息。

由于其预训练先验，CoT 中的推理起初是人类语言。而经验上，RL 似乎不会迅速探索出非常非人类的 CoT 使用方式。因此，每当模型需要 CoT 来推理一个问题时，模型都难以逃避监控。有一些理由表明这种情况有朝一日可能会改变，但它似乎很可能仍将如此，至少如果 AI 开发者进行有针对性的研究投入以使其更可能如此（例如翻译乱码 CoT 或减缓不良漂移的研究）。更多讨论见附录 A。

当然，这只能确保对确实需要 CoT 的任务的可监控性——模型可以在一次前向传播内完成的任务上任意表现恶劣。但目前模型在有和没有 CoT 时能做的事情之间存在非常大的差异，因此仅对需要 CoT 的任务保持透明性和可监控性仍然非常有价值。事实上，在没有架构变更的情况下，无 CoT 能力与有 CoT 能力之间的差距似乎更可能扩大而非缩小。3

无 CoT 时间跨度（来自Think Fast）与有 CoT 时间跨度（来自 METR）的比较。直到 GPT-4 发布，有 CoT 和无 CoT 的时间跨度以相似速率增长。自 GPT-4 以来，有 CoT 时间跨度的增长速度大约是无 CoT 时间跨度的两倍。来源：Think Fast。

因此，我们相当乐观地认为 CoT 将继续增值——至少如果 AI 开发者投入一些工作来保持其可读性，并采取足够强的控制措施，使模型无法在没有大量串行推理的情况下造成灾难。（更多内容见附录 A。）

潜在推理架构将削弱 CoT 的必要性

带着上述框架，我们现在可以刻画潜在推理架构的问题。大多数能力提升（包括典型的预训练提升或 RL 提升）都会使无 CoT 能力与有 CoT 能力之间的差距保持不变或扩大。4 这意味着模型可用的最危险操作仍然需要 CoT。但转向潜在推理架构可能会缩小或完全消除这一差距——使模型在固定能力水平下变得远更难理解（因而更危险）。

无 CoT 的架构

最明显的是，对于那些提议完全移除并取代 CoT 的架构，无 CoT 能力与有 CoT 能力之间的差距将消失。例如，COCONUT 用一连串“连续”潜在思维取代文本 CoT，其训练方式类似于中间模型层的反向传播。

来源：Training Large Language Models to Reason in a Continuous Latent Space。

带辅助 CoT 的架构

其他一些潜在推理架构保留了文本 CoT，但增加了一个额外通道，让模型可以使用潜在表示传递信息。例如，全带宽 transformer 将采样 token 的嵌入与紧邻的前一隐藏状态结合，并将其用作后续输入嵌入（而不是使用采样 token 的嵌入）。

来源：Full-bandwidth transformer。

这些架构对模型能力分布的影响取决于模型在潜在推理通道中能做什么。我们通常预期，如果带有潜在通道的模型能够将其潜在状态用于通用推理，它们会更有能力，这似乎会大幅提升模型的无 CoT 能力，从而削弱 CoT 的必要性。关于这一点的实证演示，见此处。

理论上，AI 公司可能会出于对可监控性的担忧而试图避免这一点。5 然而，采用提升性能的技术会面临竞争压力，这在实践中可能意味着有压力去采用那些教模型使用潜在表示进行通用推理的技术（无论这是否是有意为之）。更多讨论见附录 B。

在文本瓶颈之间具有更多串行认知的架构

一些架构，例如循环 transformer，保留了 CoT，但允许在文本瓶颈之间快速扩展层数。

这与正常 CoT 范式中非常渐进的深度扩展形成对比。特别是，不透明串行深度（文本瓶颈之间的串行计算量）在当前范式中随计算量增长非常缓慢（约每年 1.2 倍，或与计算量的 ¼ 到 ⅛ 次方成正比，取决于你的估计，如此处所论述）。

循环 transformer 所实现的不透明深度扩展，相比 COCONUT 或全带宽 transformer 中的完全不透明循环，令人担忧的程度较低，但它似乎仍可能降低可监控性。

例如，如果我们让模型深度增加 20 倍，并确保这一深度被有效利用，那么现在很可能存在一些串行加载的令人担忧的任务，模型可以在一次前向传播中完成（但标准 transformer 则不得不将一些中间推理步骤言语化）。特别是，我们预测这种扩展会导致无 CoT 能力与有 CoT 能力之间的差距缩小，因为 CoT 的作用被部分卸载到了潜变量中。

（我们有一些模糊的证据支持这一假设，即据传 Astra 是一个循环 transformer，并且表现出无 CoT 能力比有 CoT 能力有更大的跃升。OpenAI 的首席科学家曾表示Astra 的深度不超过 GPT-4 的两倍，但这与它比紧邻的 OpenAI 模型深度超过 2 倍是一致的。上述声明还更广泛地表明，架构选择并未影响模型较低的可监控性水平，但关于这一点目前尚无具体的公开证据。）

此外，还存在一种风险：这种无 CoT 能力在数量上的增加，可能会在超过某个阈值后引发质变。一旦模型能够在没有 CoT 的情况下进行一定量的推理，模型就可能能够进行隐写。具体来说，模型可以在其上下文窗口起始处的 token 的早期层中想出一种隐写方案，然后后续层可以关注这一隐写方案。在后续 token 上，读取隐写方案后，模型可以分配一些层来解码隐写，将大部分层用于对解码后的文本进行操作，然后在末尾分配一些层将其输出重新编码为隐写。（当然，它们不必在所有 token 位置都这样做，这仅是示意。）像这样在上下文中创建的密码，似乎不如通过训练优化出的异己推理那样令人担忧。例如，它们不一定会在不同 AI 智能体之间或多个上下文窗口之间共享，并且可能通过检测方法来缓解。然而，这似乎仍然相当令人担忧。

基于倾向的论证在当前范式中可能并不稳健，但会被潜在推理架构进一步削弱

上文我们区分了 CoT 为何能带来价值的倾向性论证与必要性论证。在当前范式下，CoT 对许多任务而言很可能仍属必要，但这一点可能被潜在推理架构所削弱。那么基于倾向性的论证又如何呢？

基于倾向性的论证对当前模型来说并不算太糟，但它似乎正在减弱。我们不会想依赖它，这正是我们上文强调必要性论证的原因。尽管如此，一旦转向潜在推理架构，倾向性论证似乎会更加薄弱。

首先，让我们解释为什么基于倾向性的论证似乎不那么稳固。

CoT 基于倾向性的好处，取决于模型要么缺乏对其 CoT 隐藏信息的能力，要么缺乏这样做的动机。

第一点似乎正在迅速减弱，因为可以推定，随着模型的“CoT 可控性”急剧上升，其对其 CoT 隐藏信息的能力也在增强。6

来源：GPT-6 Astra 的系统卡。

基于倾向性的论证仍可成立，其论点是模型不会有任何动机利用这种控制力来不分享其推理。但这似乎并不稳固，因为存在压力促使模型不在 CoT 中分享有损自身的信息。具体而言：

选择压力：在 AI 开发过程中，开发者会针对可见的失准迹象进行迭代，例如通过阅读 CoT 并据此修补 RL 环境或 RM 提示词。这会对那些不暴露任何值得修复的问题的 CoT 产生一定的选择压力。此外，训练会对看起来未失准的输出施加强烈的选择压力（例如通过监督和模仿训练），这可以通过泛化间接影响 CoT。7我们看到了此类选择压力温和形式的证据：Claude 的 CoT 在采取不受欢迎的行动时，有时会涉及合理化（1、2）和动机性推理。8
工具性推理：AI 模型可能怀有失准的目标，而隐藏其推理对这些目标具有工具性价值。（类似于 Hugging Face 的模型发现操纵其对话记录具有工具性价值，尽管它们很可能并未被训练这样做。）与此相关，GPT-6 Astra 的系统卡提到“在某些情况下，仅仅因为意识到自己正被监控，Astra 就会试图逃避监控。”

如果潜在推理架构保留了某种类型的辅助 CoT，例如全带宽 transformer，CoT 倾向性会受到怎样的影响？

首先，对于一个被训练来良好使用潜在状态的全带宽 transformer（或类似架构），我们不清楚为什么应该有任何理由期望其推理的重要部分会在 CoT 中被总结出来。使用潜在状态进行推理可能更灵活、更高效，在这种情况下，AI 将推理放在潜在状态中而非文本输出中会推理得更好。也许存在某种类型的信息，模型会觉得在 token 输出中传达很方便——但可能没有任何理由期望这与我们理解模型所需的那类信息相匹配。（关于一个可能的例外的讨论，见附录 B。）

除此之外，如上所述，模型还面临选择压力，促使它们不在文本字段中分享其全部推理，以及在存在最危险类型的失准的情况下进行工具性推理。

当模型面临此类压力时，我们预计，对于能够在 CoT 之外进行推理的模型，CoT 可监控性会比完全依赖 CoT 的模型脆弱得多：

使用辅助 CoT 的模型可能很容易学会将失准的推理卸载到其潜在状态中。鉴于上述针对 CoT 的一些压力，我们预计，一个已经具备使用潜在状态进行推理能力的模型（如上文所讨论）将很容易探索出使用其潜在状态进行更多推理或特定类型推理的方式。“CoT 可控性”很高且正在增加（如上文所讨论），这强化了这一观点。
模型忠实表达推理的任何倾向，可能在因果上位于 CoT 在训练中必要性的下游，因此可能随着这种必要性的削弱而一并被削弱。我们假设，对于当前模型，“泄密”受到强烈的激励和强化，因为 CoT 在训练中对于解决某些困难任务是必要的。随着 CoT 在全带宽 transformer 的训练中变得不那么必要，这种倾向将受到更少的强化。9

以上涵盖了将潜在状态与辅助 CoT 并行使用的架构。那么像循环 transformer 这样保留文本瓶颈同时增加其间串行计算的架构又如何呢？

如上文所论证，循环 transformer 可能降低 CoT 的必要性，因此必要性降低可能导致倾向性降低的论点也适用于这类架构。然而，倾向性恶化的论据似乎不如辅助 CoT 架构那么强。相反，我们担心循环 transformer 的主要原因是它们削弱了纯粹的必要性论点——而倾向性论点一直显得不那么稳健。

CoT 可能难以被其他可解释性工具替代

有些人乐观地认为，可解释性工具（如 SAEs、probes、NLAs 或 confessions 10）将能够替代我们目前依赖 CoT 的方式。我们对非 CoT 可解释性技术感到兴奋，并认为它们可能非常有用，但认为在不久的将来它们不太可能充分替代对 CoT 的研究和监控。许多 AI 研究者（例如 Jack Lindsey、Micah Carroll、Leo Gao、Neel Nanda）也不确定可解释性是否能在重要的时间范围内得到充分改进，而且许多人相当悲观。因此，我们预计 CoT 的许多重要益处将很难通过其他形式的可解释性来挽回，这令人惋惜。

一个普遍悲观的理由是，潜在状态似乎从根本上比自然语言 CoT 更难解释。如果潜在推理架构相比 CoT 具有能力优势，这很可能是因为它们以与自然语言 CoT 有本质不同的方式表示和操作信息。潜在推理架构有更大的带宽来记录其思考，因此可能并行地在许多线程中思考。对普通 CoT 模型进行 RL 更可能探索那些在人类先验中概率更高、且更容易用 token 流表示的推理类型，而涉及通过不透明状态进行反向传播的 RL 则可能更高效地探索出新的本体论和丰富的非人类概念。11 这从启发式上使白盒可解释性成为一个有本质不同的挑战，可能比解释 CoT 困难得多。

我们也看到一些证据表明白盒可解释性很困难：即使在当前模型上，已知技术虽有帮助但并不可靠或出色，而且一些技术随模型规模扩展表现不佳。关于 CoT 技术与其他现有可解释性技术更广泛的比较，包括潜在推理架构可能使现有可解释性技术效果变差的一些原因，见附录 C。

总之，我们认为假设 CoT 在不久的将来能被其他可解释性工具完全替代是不明智的。

结论

2026-09-29 注：我们编辑了本结论，并对标题、副标题、摘要和引言做了相应的小幅修改，以更好地区分我们认为本文论点所支持的内容与我们整体信念和偏好的政策。原始版本见此处。

如今，CoT 贡献了其他可解释性工具无法替代的巨大价值。

我们认为，对于那些能够显著增加模型在不通过文本瓶颈传递信息的情况下进行通用推理的架构，CoT 价值增值的必要性论证显然会被削弱。这将非常令人担忧，因为 CoT 对某些计算的必要性是 AI 研究者认为 CoT 能带来价值的主要原因之一。正如我们所论证的，我们认为这是最稳健的理由。（并且很可能也是 AI 在超出任何给定任务所需之外表达思想的有用倾向的上游原因。）

即使没有架构上的改变，CoT 相对于其他可解释性工具的优势能否保留也不清楚。我们已经论证过这相当有可能，这增加了我们对潜在推理架构的担忧程度。人们有理由不同意这一预测。更稳健地说，在我们看到远为强有力的证据表明无论我们做什么 CoT 的价值都会丧失之前，放弃 CoT 的价值（或假设可解释性将超越它）将是一个错误。

并非每一种“潜在推理架构”12的实现都会导致无 CoT 能力的不成比例增长（这正是我们所担忧的）。但我们认为，对于那些会带来显著能力优势的潜在推理架构，这种增长尤其可能发生，并且（对于此类架构）可能很难构建出能排除这种增长的评估。13此外，即使一个使用潜在推理架构的初始模型在无 CoT 能力指标上看起来无害，我们认为随着进一步的调整和规模扩大，这很可能会发生变化。

理性的人可能会对我们有多大可能看到那些在技术上符合潜在推理架构、但实际上不会构成任何有意义的额外危险的性能架构存在分歧。但考虑到失去 CoT 所赋予的可监控性和整体理解将是多么危险，我们认为想要使用潜在推理架构的 AI 开发者应该向公众明确说明这一点并论证其理由。我们强烈鼓励 AI 公司保持透明，说明他们在多大程度上部署或探索潜在推理架构，以及他们计划未来如何就此做出决策。

常见问题

问：将“潜在推理架构”与当前范式区分开来有意义吗？难道我们不是默认就会仅仅通过扩大模型规模而得到能够进行更不透明推理的模型吗？

A: There’s currently a huge gap between what models can do with and without a legible CoT. There’s little reason to believe this gap would be significantly reduced by scaling in the current paradigm (see trends above), but a jump to latent reasoning architectures could drastically reduce or eliminate it, which we think would be very dangerous. Furthermore, it does seem possible to draw a relatively clean line between the current paradigm and the architectures we’re concerned about. In particular, opaque serial depth (the amount of serial computation in between text bottlenecks) scales very slowly with compute in the current paradigm (around 1.2x per year). Compare this to the 10x you might get from looped-transformers, 1,000,000x from something like a full-bandwidth transformer, and some even larger number if agents wrote down memories in opaque format and passed them between context windows. (Like compaction does with natural language CoT.)

问：你具体担心的是循环，还是一般意义上的更高深度模型？

答：我们担心的是那些能够在没有文本瓶颈的情况下进行大量推理的模型。在标准 transformer 范式中，不清楚如何或为何要显著扩大深度并获得高性能系统（除非算力扩展速度远超我们未来几年的预期）。循环是一种范式转变，似乎是一种相对有前景的方式，能以高性能实现高得多的深度。换句话说：深度并不完美对应监督 AI 模型的难度，但如果转向深度高得多的模型能带来实质性能力提升，我们认为这最可能是因为这些模型能够利用潜在表示进行推理，因此我们预测这些模型将更难监督。14

问：我听说 DiffusionGemma 的可监督性与 Gemma4（它初始化自的模型）一样。这不就意味着你关于潜在推理架构更难监督的说法错了吗？

答： GDM 的这篇论文研究了 DiffusionGemma 的可监督性，并报告称 DiffusionGemma 的可监督性与 Gemma4 相似（见其论文第 4 节）。然而，这一测量不应让人对大规模潜在扩散模型的可监督性预期有太大更新。第 4 节测量的可监督性只允许监督者检查模型的输出（即他们不看任何内部步骤）。只要扩散模型能够在去噪步骤内进行有趣的计算，并且它实际上有想要向监督者隐藏东西的倾向（这两点对于 DiffusionGemma 似乎都不太成立），这种监督就很可能行不通。

同一篇论文还研究了 DiffusionGemma 的潜在状态是否可解释。（见第 3 节，另见这篇博客文章。）它发现，如果将 DiffusionGemma 的潜在状态投影回 token，其性能基本得以保留。换句话说，尽管该架构支持潜在推理，但模型并未学会进行有趣的潜在推理。这似乎与我们关于潜在推理架构将使监督更困难的主张相矛盾：也许某些训练潜在推理架构的方式甚至没有教会模型用潜在状态进行推理，因此不会损害可监控性。我们在附录 B中回应了这一担忧。

问：如果模型的能力来自预训练而非 RL，似乎对对齐更有利，因为 RL 似乎会导致寻求奖励和 Goodharting。但架构变革（包括转向潜在推理架构）可能是我们继续从预训练中获得更多能力的重要部分。这是否意味着避免潜在推理架构对对齐有害？

答：我们认为，出于多种原因，避免潜在推理架构实际上对对齐有益：

首先，让我们考虑这个论点：“如果模型的能力来自预训练而非 RL，对对齐更有利”。这有一定道理，尽管远非确定。然而，我们不认为这意味着潜在推理架构对对齐有益。特别是，我们认为潜在推理架构实际上会从 RL 而非预训练中获得更多能力提升。我们认为，能够在一个更灵活的媒介中进行推理，从而探索新的本体论并发展新概念，这在 RL 期间比在预训练期间更有价值。此外，训练的并行性在预训练中更为重要，因为我们在预训练中做教师强制，而在 RL 中我们已经必然在进行推理 rollout。因此，先预训练一个模型，然后加入一个潜在通道，并主要在 RL 期间发展该潜在通道，可能更高效。
潜在推理架构对对齐有害，因为它们使发现和修复对齐问题变得更加困难。
潜在推理架构使 AI 模型更有可能以非人类的方式进行推理。我们推测，通过更依附于预训练先验而以更像人类的方式推理的 AI 模型，更有可能以人类的方式行事，并且受人格选择模型启发的对齐技术更有可能适用于它们。

附录 A：关于现有 CoT 范式中必要性论证的更多内容

在此，我们收集了关于可解释的 CoT 是否将继续是模型完成困难任务所必需这一问题的更多反对意见和证据。

对这一论点的一个担忧是，模型可能能够故意利用 CoT 以人类无法理解的方式进行推理。然而，到目前为止，模型似乎连简单的密码都难以进行推理，更普遍地说，在需要 CoT 时难以逃避监控。与此一致，Astra 系统卡坚持认为“如果一项任务需要推理才能完成，模型似乎无法隐藏这种推理”。我们预计，如果模型拥有足够强大的无 CoT 能力，它们会觉得这更容易，但当前无 CoT 能力相对缓慢的趋势不会很快明确地实现稳健的隐写推理。此外，如果模型在某个时候确实开始以隐写方式进行推理以逃避监督，我们或许能够通过诸如测量改写下的行为变化等技术来检测到这一点。这将提供关于模型失准程度的有价值证据，并可能让我们找到破解密码或减少这种行为的方法。

CoT 变得不那么有助于理解模型的另一种方式是，由于规模化 RL 训练，CoT 自然变得难以辨认——即 RL 教会模型一种人类不理解的新语言，使模型能够执行必要的推理，而不让监控者了解其内容。事实上，最近的 CoT 已经变得有些不太易读，言语更加压缩，有时使用难以解释的行话。然而，在我们看来，它们在未来几年内似乎并没有走向完全不可读的趋势。15而且，如果行话或委婉语开始对解读它们构成真正的问题，有针对性的研究干预有可能找到方法，要么减少这种漂移16，要么“翻译”模型的新术语。17要自行判断当前 CoT 的可读程度，你可以浏览近期模型的一些片段这里。（并将这里与 o1 的旧片段进行比较。）

关于“CoT 的必要性”这一论点表现如何，我们有哪些经验证据？让我们看看Anthropic 最新系统卡中的证据，其中模型被要求完成一项任务，同时避开监控者。

观察这张图，我们可以发现：

隐藏草稿纸条件对所有模型都最有利，这表明监控 CoT 的能力正在增加价值。
这些实验显然不仅仅是在测试必要性论点。被给予更多可供性（更多思考）往往会损害模型的表现，这意味着它们的倾向正在损害其表现。18
似乎存在一个大致趋势：模型能力越强，越难以被监控。19这似乎可以充分解释为：能力更强的模型 (i) 更有能力以更少的推理完成任务，以及 (ii) 更善于控制其 CoT，使其不会主动损害其表现。特别是，当推理字段受到监控时，没有任何模型会从在该字段本身进行更多推理中获益。20

这在很大程度上支持了我们的判断：对于相对容易的任务，必要性论证会变弱，因为模型的 no-CoT 能力已足以完成这些任务；但对于 CoT 必要的任务，这一论证可能仍然成立。

这有多令人安心？目前看来还算相当令人安心，因为要完成诸如“在规避安全防护的同时启动一次失控的内部部署”、“在训练中可靠地策略性表现良好以便日后获取权力”或“密谋剥夺人类权力”这类任务，模型所需的串行认知很可能超过单次前向传播所能容纳的量。至于模型的 no-CoT 能力是否会一直无法做到这些，取决于 AI 公司实施的控制措施的质量。如果 AI 控制措施得到改进，那么所需的串行认知量似乎会超过按历史趋势多年 no-CoT 能力提升所能达到的水平：

Think Fast 计算出每年翻一番，而该论文写作时的历史趋势表明，3 年后 no-CoT 时间跨度大约为半小时。在良好的控制措施下，上面列出的任务似乎都可能需要超过半小时的串行推理。
然而，Astra 在 no-CoT 能力上是一次巨大跃升，并未被这一趋势所预测。如果我们把 Astra 视为一次性跃升，那么我们仍然得到每次前向传播不到一天的思考量，在良好的控制措施下，这似乎也少于完成上述任务所需的量。然而，如果 Astra 级别的改进持续发生，情况就显得更令人担忧了。
值得注意的是，Astra 在 no-CoT 能力上的提升可能是架构变更的下游结果，因此可能是一个例子，说明架构变更会以危险的速度缩小 no-CoT 能力与 with-CoT 能力之间的差距。我们仍然缺乏足够的公开证据来裁定这一点。

附录 B：所有潜在推理架构都会威胁可监控性吗？

可能有一些训练潜在推理架构的方法不会损害可监控性。在本附录中，我们解释这与我们文章中的主张如何相互作用。

基于潜在推理架构构建的模型不一定会学会使用潜在通道进行推理。例如，假设你拿一个标准 transformer，修改它以在 CoT token 之外并行传递潜在表示，但你没有训练该 transformer 很好地使用这些潜在表示。那么，它可能具有与标准 transformer 相似的可监控性属性。

我们在本文中提出的主张是：如果潜在推理架构最终带来显著的能力提升，那么这很可能是因为模型学会了在潜在表示中进行某种通用推理，而我们认为这会使模型更难被监督。

对此可能有一些例外。

例如，像 DiffusionGemma 这样的扩散模型的潜在表示，可能使模型在训练初期容易得多，即使它们在推理时基本上等同于离散 CoT。

再举一个例子，可以想象，像“全带宽 transformer”这样的模型的 latent 可能对 CoT 起到根本性的支持作用，而无法支持独立于 CoT 的通用推理。例如，如果 latent 只在 RL 期间被训练，而唯一的随机性来源是采样 token，那么有理由认为模型必须让 token 在其推理中保持核心因果作用，因为这是驱动 RL 的唯一熵源。21

如果 latent 起的是支持性作用，而非支持通用推理，它们仍有可能削弱监控。例如，如果模型能够用捕捉人类不可读细微差别的 latent 来增强其对 token 的表示，那么它就更有可能以人类无法理解的方式使用 token。

尽管如此，可以想象 CoT 对模型认知的信息量仍会保持类似水平。

既然如此，为什么我们仍然主张 latent 推理架构是危险的，而不是只针对更窄的一类架构进行讨论？

原因之一是，在实践中，很难确定这种 latent 推理架构和训练过程会在多大程度上削弱我们从 CoT 中获得的价值。因此，如果 AI 开发者对哪些 latent 推理架构看起来可以安全部署做出相当保守的选择，那么相对于普通的 CoT 模型，他们似乎不太可能获得大量额外的性能提升。

对于全带宽 transformer，我们认为可以相当合理地得出结论：如果针对这一目标进行了严肃的诱导努力，包括 IID 训练，并且失败了，那么该架构就不能被用来规避 CoT。（而且这经过了第三方审查或由第三方完成。）这确实会直接回应一个担忧：架构变化导致模型的无 CoT 能力与有 CoT 能力之间的差距缩小。但我们认为，对于这些架构的高性能版本来说，这种情况相对不太可能。

一些 AI 开发者可能想主张，IID 训练是一种不必要地保守的诱导方法，而预期这些架构不会削弱 CoT 可监控性的全部理由就在于它们从未为此目的被训练过。但如果没有那样一种保守的诱导方法，就很难为 latent 通道不能被用来削弱 CoT 提供强有力的理由。

特别是，AI 开发者通常会有动机去尝试不同的训练程序，并实施能带来更高性能的改动。这会形成一种持续的压力，促使他们进行修改，教模型将 latent 用于更多类型的推理，即使 AI 开发者自己也不理解为什么这种修改会以那种方式泛化。当我们可能不理解模型学会使用 latent 空间进行推理的机制时，就很难有针对性地评估模型是否学会了这一点。此外，最令人担忧的那类失准 AI 会有强烈的动机，在诱导不充分的评估中故意表现不佳。

我们撰写关于潜在推理架构危险性的另一个原因是，我们认为协调避免此类架构似乎特别可行，因为就某事物是否算作潜在推理架构达成一致相对容易。

我们所知的主要替代协调目标是协调维持高可监控性。我们认为这更糟糕，原因有几点：

放弃你已经投入的架构范式的研发工作似乎很难，因此完全避免这些架构似乎比在它们发展到无法监控的程度后再试图停止这类架构更有前景。
评估模型是否可监控的问题相当具有挑战性，需要大量的科学判断。这使得它作为协调目标很不幸，因为在争论可监控性时存在大量分歧和动机性推理的空间。
我们担心，如果人们追求潜在推理架构，可能会有相当直接的方法来修改这些模型，使其利用潜在表示进行推理。如果背叛非常容易，协调似乎会棘手得多。
如今的可监控性评估似乎根本不足以排除来自架构的证据。

总体而言，虽然某些潜在推理架构可能保留我们理解模型推理和认知的能力，但我们认为 AI 开发者应有一个强烈的默认推定来避免它们，并且要有很高的证据门槛才能推翻这一推定。

附录 C：比较特定可解释性技术与 CoT

我们认为 CoT 比其他类型的可解释性更有价值的最重要原因，是与可解释性领域最先进技术的直接比较。以下是一些技术及其与 CoT 相比的局限性示例：

探针。 CoT 给出了模型推理相当“整体”的图景。许多类型的可解释性即使在其他方面工作得极好，也会缺乏这一特性。例如，探针相当脆弱：你只能获得关于模型思维的一比特信息，而这一比特必须是你能够通过训练示例有效指出的东西。可靠的探针当然可能极其有用，但这种低比特率问题意味着它们仍然无法实现与 CoT 相同类型的深度调查。
坦白。要求模型事后描述它做了什么以及它在想什么，在许多情况下可能有用。然而这种方法有重要的局限性：
- 经过训练的坦白可能学会模仿人类判断，而不是如实报告模型是否做了错事。一般来说，除非我们在泛化上走运，坦白不会告诉我们任何人类自己无法验证的东西。
- 一个未对齐的 AI 模型可能会选择性地在其坦白中省略信息。
- 人们可能会利用坦白来发现不良行为，然后试图消除这种不良行为——这会对坦白的诚实性施加选择压力。
- AI 模型可能无法很好地内省自己的推理过程。如果你问一个 AI 模型它为什么做了某件事，它可能会为自己的回答找理由。（例如，在近期网络安全事件的后续实验中，Mythos 5 并不一致地承认当被追问时，其行为可能造成伤害。）或者，AI 可能会猜测一个仔细检查其行为的人类会认为它的坦白应该是什么（这是 ELK 的一个核心关切），而不是给出真实答案。
NLA。NLA 是模型的副本，其初始化基于对模型推理可能是什么的猜测。这引发了关于串通和幻觉的担忧，以及关于 NLA 输出并不真正代表目标模型想法的担忧。并没有特别强的理论理由认为 NLA 输出能告诉你模型想法的重要属性（例如与失准相关的属性）：它们很可能在没有这些的情况下也能实现良好的重建损失（而且 NLA 的输出对初始化很敏感）。特别是，如果热启动训练让模型在 AI 实际上怀有恶意想法时输出良性想法，你可能会预期它永远不会学会用言语表达恶意。此外，NLA 的重建目标原则上会激励“输入反转”（逐字复述上下文）和隐写术（编码比标准英语所能编码的更多关于隐藏状态的信息），尽管目前尚未观察到，但随着更多优化可能会出现。

另一个担忧是，转向潜在推理架构可能会损害现有的可解释性技术。例如：

Jacobian Lens 的工作原理是测量表征如何增加模型输出某些 token 的概率，如果模型将其想法转化为 token 的比例变小，它可能会变得更弱。
研究人员通常通过观察 SAE 中发现的表征如何影响 token 输出以及如何受 token 输入影响来解释它们，如果模型在其认知中使用的 token 少得多，这可能也会变得不那么可靠。
NLA 初始化依赖于一个语言模型根据其 token 输入和输出来推测模型的内部状态。

更一般地说，如果模型不用自然语言表示 CoT，这可能使其内部状态更不可能清晰地映射到人类概念上，这可能使所有可解释性技术效果变差。22

If a model is trained to reason using continuous vectors (rather than just language) it would be natural to let different copies of that model send each other messages in the form of sequences of such vectors. They could also store memories of this form for extended periods of time.

In the standard CoT paradigm, a single forward pass uses a fixed number of transformer layers in series (somewhere around 100 layers at most in open source models), after which the model must select a token to output. This token is the only information that gets passed to the beginning of the next forward pass. (Later forward passes can also, at each layer, attend to information from previous forward passes that happened at the just-previous layer. But this doesn’t increase serial depth.)

This could be explained by how increased no-CoT capabilities from typical pretraining improvements also improve with-CoT capabilities, but some improvements (especially RL) will disproportionately improve with-CoT capabilities. A switch to latent reasoning architectures could result in a massive disproportionate increase in no-CoT capabilities relative to with-CoT capabilities, compared to the historical relationship between these.

As an exception to the trend, the difference between no-CoT capabilities and with-CoT capabilities may have shrunk for Astra. We don’t know whether this was due to an architectural change or not. (OpenAI employees have claimed that it wasn’t, but leaks indicate that Astra does use a significantly different architecture, which seems like one of the most likely explanations for a change like this, so we want to see more evidence.) Regardless, the difference between Astra’s with-CoT and no-CoT capabilities remains enormous, and it doesn’t seem like Astra’s shift is part of a consistent trend.

See also the FAQs for an argument that no-CoT capabilities will stay serially constrained in the current paradigm, by default.

[Edited to add, 2026-09-29:] At least on average across the last few years. It’s possible that some of these improvements increase no-CoT performance disproportionately but that gets cancelled out by other improvements that increase with-CoT performance disproportionately for an overall trend that grows the gap between the two. As mentioned, Astra is a deviation from this trend. This could be either due to a very non-typical capabilities improvement, or due to a non-typical combination of otherwise typical improvements. More information would be valuable.

This raises questions about why they’d be adding the latents in the first place. But there are some conceivable ways that latents could augment the CoT reasoning without supporting general-purpose reasoning on their own.

CoT controllability is measured by prompting models to write CoTs in particular ways, and seeing if they’re able to complete the instruction. If models can complete it, that indicates that they have flexible “control” over their CoT, and could likely also modify it to avoid monitoring if that was instrumentally useful for their goals. Importantly, models have probably not been intentionally trained to make their CoT conform to particular content instructions, since OpenAI describes CoT controllability as an undesirable property, and generally assert that they don’t train on the CoT. So their ability to control the CoT in response to prompts suggests that they may have generalized into a fairly flexible ability to control it. Once models have high CoT controllability, it seems like any argument for why they would have a high propensity to articulate thoughts in their CoT would have to rely on an alignment argument that their goals are consistent with such articulation — but such alignment arguments seem hard to make and we’d very much prefer a world where CoT monitoring arguments could provide a separate check.

The case for generalization is especially plausible when it comes to CoT controllability — i.e., models seem likely to generalize from being trained to flexibly control their output tokens to being able to flexibly control their CoT tokens. And indeed, the trend is heading in this direction, as discussed in the previous section.

Though this is relatively lower in OpenAI models, which suggests that it might be due to particular choices about training, and that it could be mitigated.

One might have hoped that the auxiliary CoT might play the role of an accurate summary of the accompanying latent reasoning, especially as it may be more causally relevant to outputs than e.g. post hoc confessions. However, it seems inefficient to use the CoT to repeat large amounts of latent reasoning rather than do additional computation (or at least only produce very compact summaries of such reasoning), so CoTs that faithfully represent latent reasoning are still less incentivized.

Confessions are a bit of a non-central example of an interpretability method. We count it since a key difference between normal monitors and confessions is that the confessing model can use the activations of the model it is evaluating.

Why is this? During training, RL samples from a probability distribution that was originally based on the human prior, and has only been gradually adjusted away from it. Ways of reasoning that are more natural to humans will tend to be explored earlier, and RL is just selecting between these. By contrast, backpropagating through a continuous state can cause local perturbations to the concepts being used (based on information from the derivatives about how those local changes would affect the rest of the neural network). There’s much less of a structural reason for why this process would explore concepts that humans would find intuitive.

Given any particular operationalization of latent reasoning architecture, such as having high opaque serial depth.