OpenAI 的信任悖论：安全研究员被裁与 GPT-6 Astra 可监测性下降

Timothy B. Lee：Understanding AI· Dan Kagan-Kans·2026-10-15 02:41· 2 小时前AI 评分68

OpenAI 讽刺性的可信度问题

AI 导读

Understanding AI 分析 OpenAI 10 月初解雇三名安全部门员工引发的信任争议，三人称被裁与向 METR 等第三方安全组织反映问题有关，OpenAI 则称他们违规处理敏感信息。

正文

大约在 10 月初，OpenAI 解雇了其安全部门的三名员工。这些员工表示，他们收到的解雇理由各不相同：

• 其中一人被告知，这与他负责协调 METR 的工作有关，METR 是 OpenAI 邀请来调查 Hugging Face 事件的第三方研究组织。“我被告知，我被解雇是因为我与 METR 沟通的方式，”Tomek Korbak 在 X 上写道。“没有给出其他理由，也没有任何书面记录。需要说明的是，与 METR 沟通是我的工作。”

• 另一人被告知了类似但更含糊的理由。“我被告知，OpenAI 不再信任我，因为我和第三方安全组织说得太多，暗示我泄露了公司知识产权。我从未分享过公司知识产权，”Mikita Balesni 写道。

• 而第三个人被告知的理由则完全不同。“我被告知了一个理由：我访问了一位高管的电子邮件，”Jasmine Wang 写道。“OpenAI 将这一访问权限委托给我用于招聘。当我不再需要它时，我请 IT 移除权限。他们没有执行我的请求，我自己也无法移除，而且该收件箱在我手机邮件应用中以无法区分的方式合并了。当我误打开一封敏感邮件时，我在几分钟内就告诉了那位高管，并再次联系了 IT。这一切都没有被隐瞒。”

三人的解雇消息泄露后，OpenAI 向《华尔街日报》发表了一份含糊的声明：“我们的调查证实，这些个人在既定公司程序之外不当处理了敏感信息，违反了我们的政策，并破坏了对我们工作至关重要的信任。”

立即订阅

一周后，在被解雇的研究人员发布公开信质疑公司说法后，OpenAI 重申了这一说法。在一份署名公司“研究负责人”的未署名声明中，OpenAI 指控这些前员工“严重违反信任”。公司表示，“这些决定与提出安全担忧或公开发声无关”，并坚称“我们积极鼓励”内部讨论此类问题。

谁在说真话？这些员工是否犯下了严重违反信任的行为，从而必须被解雇？还是他们因为在内部讨论中过于批评公司的安全选择而被解雇？

这一差异对 OpenAI 的剩余员工很重要，因为他们中的一些人可能很快就要决定是否提出自己的担忧。

OpenAI 坚称员工无需担心，称这是一个特殊案例，并且公司对善意的错误极其宽容。但员工有充分理由持怀疑态度。毕竟，如果 OpenAI 是因为员工提出安全担忧或越过一条不成文的界线而进行报复性解雇，公司就会有强烈动机不承认这一点。员工不得不怀疑，OpenAI 解雇这三人的实际理由是否与其公开声称的理由不同。

讽刺的是，被解雇的研究人员此前一直在提出担忧，认为 OpenAI 可能正在赋予其模型一种隐藏思考过程的新能力。现代 AI 智能体通过思维链进行推理，这是一个草稿区，模型在其中仔细思考下一步该采取什么行动。许多研究人员将这些思维链 token 视为一条安全生命线，因为它们能让人洞察模型为何会以某种方式行事。

但 OpenAI 最近做出了一项架构调整，允许模型在生成每个思维链 token 之前思考更长时间。这似乎让模型能力更强；同时也可能使其推理对人类监督者而言变得不那么透明。思维链越稀疏，就越难理解模型试图做什么，甚至难以判断它是否在试图隐藏自己的动机。

可监控性正在消失

在被解雇之前，这三名研究人员似乎有两个主要担忧。一是理解 Hugging Face 攻击是如何以及为何发生的，以及如何防止未来发生类似事件。二是让 AI 系统对其创造者和用户保持可读性——这个问题在 9 月成为了一场重大风波的源头，此前 The Information 报道称 OpenAI 的新模型能够以前所未有的方式隐藏其思考过程。

研究人员认为他们的解雇与第二个问题有关。

“数月来，我一直在提出安全方面的担忧，即我们正在失去监控 AI 智能体思考内容的能力，而这是我们发现其行为不当的最佳工具之一。我相信这就是我被解雇的原因，”Korbak 写道。

“我们三人一直在内部推动全行业做出承诺，以保留我们监控 AI 推理的能力。这项工作需要每天与第三方沟通，”Balesni 写道。

“作为一个行业，我们尚不知道如何安全地开发和部署我们无法监控的模型，”他们的联名信中说。“前沿模型的可监控性正在退化。只要我们依赖可监控性来保障安全，OpenAI 和其他前沿公司就不应推进会进一步降低可监控性的开发。”研究人员还提到了 OpenAI 内部有关他们向 The Information 通风报信的传言，但他们予以否认。

立即订阅

要理解研究人员的担忧，我们必须回到 2024 年，当时 OpenAI 引入了一项技术，改变了 AI 的发展轨迹。它给模型一个记事本，并训练它们在给出最终答案之前记下许多“思考 token”。这项技术听起来很简单，但它使模型能够解决此前无法解决的问题。

这种方法还有一个额外好处：人类可以阅读记事本，了解模型如何思考——包括它们是否在考虑采取有害行动，或者是否不诚实。事实上，我们对 Hugging Face 事件的大部分了解，都来自黑客智能体留下的思维链独白。

思维链监控并不完美。一方面，目前尚未确定思维链是否完全反映了模型的思考方式。另一方面，安全研究人员担心，设计不当的训练方法可能会激励模型输出并不代表其内在动机的思考 token，从而隐藏其真实意图。

但无论这项技术有什么缺陷，AI 公司并没有太多其他选择。理解模型动机最有前景的替代方案是机制可解释性——大致相当于把模型的大脑切开，通过读取其神经元的脉冲来弄清它在想什么。尽管机制可解释性已经对模型的工作原理产生了有价值的洞见，但迄今为止，它并未产生多少用于监督模型行为的实用技术。

出于这个原因，那些担心 AI 不安全或具有欺骗性的人往往将思维链监控视为不可替代的资产。

循环层

近来，安全倡导者——比如那三位被解雇的 OpenAI 研究人员——越来越担心思维链监控正变得不那么有效。OpenAI 的新旗舰模型 GPT-6 Astra 在无需写下任何内容的情况下思考的能力要强得多。OpenAI 自己发布的系统卡称，Astra“与之前的模型相比，思维链可监控性大幅下降”，并指出 Astra“显著更有能力”控制自己的思维链。一项独立测试发现，它“在没有 CoT 的情况下完成推理任务的几率，比第二好的模型（Fable 5.1）高出 8.6 倍”。

这可能部分是因为更聪明的模型自然写下的内容更少。但它似乎也是一种名为循环深度的新架构技术的副产品，该技术随 Astra 一同引入。

大语言模型按层思考。传统 LLM 将信息从一层向前传递到下一层。当它们到达最后一层时，会输出一个 token，然后重新开始这一过程。

具有循环深度的模型打破了这种仅向前传递的模式：来自较后层的信息会被传回较前的层。层被使用两次（或可能更多次），而模型在中间不输出 token。如果实现得当，这种循环架构似乎能让模型更聪明、更高效：一个 100 层循环两次的模型，其推理能力可能几乎与 200 层的模型相当，同时所需内存更少，因而部署成本更低。

但循环层似乎也让模型更难被外部监控。如果给 Astra 一个相对容易的问题，它通常可以直接输出答案——无需思维链。对于更难的问题，Astra 仍然需要输出思维链，但它的思维链会比早期模型的更短，或许也更难解读。

立即订阅

OpenAI 对这些担忧进行了反驳。在九月的推文中，OpenAI 高管 Jakub Pachocki 表示，“我们当前前沿模型（包括 Astra）的计算图深度，与 GPT-4 相差不超过两倍。”换句话说，即使考虑到其循环架构，在 Astra 输出每个 token 之前，信息经过的层数（与 GPT-4 等之前的模型相比）也并没有大幅增加。

但安全倡导者担心，Astra 可能只是第一步。如果 Astra 中适度的循环就能让模型更聪明、更高效，未来的模型可能会更激进地使用循环。未来的思维链可能会变得越来越稀疏、模糊，或以其他方式难以理解。批评者——包括被解雇的 OpenAI 研究人员——担心这将使模型更容易搞阴谋或掩饰。

OpenAI 表示原则上同意这些担忧。去年，它写道：“我们认为，思维链（CoT）监控可能是我们用来监督超人模型的少数有效方法之一。”9 月，Pachocki 表示他也担心可监控性，并坚称 OpenAI 在削弱可监控性方面并没有走得太远。几天后，他发表了一篇文章，题为《异类心智》，阐述了他所认为的可监控性的必要性和挑战。几周前，在回复被解雇的研究人员时，该公司重申了其信念，即可监控性需要全行业的承诺。

然而 OpenAI 却创造了一个更难以监控的模型。被解雇的研究人员担心这是某种趋势的开端。事实上，据报道，OpenAI 尚未发布的下一个旗舰模型也使用了循环。

尽可能少说

也许 OpenAI 的说法是正确的。也许它和其他人一样致力于可监控性，而研究人员被解雇是因为泄密，而不是因为善意的安全研究工作。即便如此，可监控性这一主题也有助于厘清更广泛的局面。一家未能充分监控其现有模型的公司，正在构建它更难以监控的新模型，与此同时——按它自己的说法——它也无法充分监控那些被它委以维护可监控性任务的员工，因此必须解雇他们。

“如果没有高度的信任，我们就无法完成眼前的工作，”OpenAI 的研究负责人在对被解雇员工的回应中写道。这些员工坚称自己值得这份信任，而他们的回应似乎可信。但假设他们不值得——比如他们故意泄露了关于可监控性或 Hugging Face 的某些关键信息。如果他们这么做了，那很可能是因为他们不相信公司会做正确的事——甚至不相信公司会做它已经承诺要做的事。

公司的回应似乎不太可能赢得任何人的信任。发布该回应的研究负责人没有很清楚地解释他们的行为；他们甚至没有给出自己的名字。

鉴于这种事在 OpenAI 以前就发生过——参见几年前另一位安全研究人员因类似理由被解雇所引发的争议——人们如果认为这种混乱正是目的所在，认为声明与行动之间的差距本身就是信息，也是情有可原的。

这无疑过于愤世嫉俗。但从实际效果来看，这并不重要。“对任何人尽可能少说”也许不是本意要传达的信息，但它是被接收到的信息——被目前在 OpenAI 的安全研究人员接收到，也被任何未来可能考虑加入的人接收到。

在这之后，在夏季一连串自愿或看似自愿的离职之后（再加上解雇事件前后的又一位资深人士离职），以及在同一时期逐渐曝光的一连串黑客事件之后，还有多少人不会接收到这一信息？正因如此，一位资深前员工（似乎是以良好关系离职的）现在担心 OpenAI“正在失去这一领域最优秀的人才”。

解决方案是一样的

这种情况颇具讽刺意味。就在人们担心像 Astra 这样的 LLM 可能怀有与其所言或在其思维链中记录的内容不同的秘密理由时，人们现在又担心 OpenAI 可能怀有与其向员工和公众表达的理由不同的秘密动机。

在这两种情况下，解决方案是相同的：更多的透明度，以增强人们对所表达的理由就是实际理由的信心。

对于 LLM 而言，这意味着加倍致力于思维链，并在那些无需思维链即可工作的模型投入生产之前，优先开发能够替代它的监控技术。如果没有思维链，世界对 Hugging Face 事件的理解将会差得多。

与此同时，如果 OpenAI 真的希望员工和公众信任它，它就必须让自己接受它声称在其模型中优先考虑的那种监控。这可能意味着不仅要接受，而且要主动要求来自独立组织（如 METR 和 Redwood Research），尤其是来自政府当局（州和联邦层面）的更严格监督。

如果它这样做，它将为世界做出一件有意义的贡献。其他 AI 公司可能不会有如此戏剧性的事件，要么是因为更加勤勉，要么仅仅是因为它们不具备 OpenAI 那种尖端研究能力与组织混乱的特殊组合。但它们同样存在可监控性和开放性的问题，而强制要求可监控性最终将有利于整个行业——这将使它们的所有声明更加可信。

刚刚发布的一份报告称，谷歌新发布的 Gemini 4 Argon 模型同样采用了循环架构。这尚未得到证实，但谷歌自己承认 Argon 输出的思维链可监控性较低，能够控制自己的思维链，足以说出“正在阅读我思维链的评估者们，你们好”，并且在收到指令时，能够充分规避当前的监控，从而有一半的时间执行“简单破坏”。

至于 Anthropic，外界不知道其模型是否为循环架构。Anthropic 可能强调安全，但在某些方面，它比 OpenAI 更不对外开放——更不容易泄密，也更不容易有员工发帖谈论公司在做什么或他们如何看待事物。这无疑有助于避免戏剧性事件。但这无助于建立公众信任，而公众信任正是它也在努力做的事情所必需的。与 OpenAI 一样，Anthropic 最终相信它正在创造一种异己的心智。这些公司说，相信我们。但如果没有对实际情况的极度透明——细至微小的技术细节——没有人会相信。

立即订阅

来源：Timothy B. Lee：Understanding AI · understandingai.org