The Verge 访谈曾投票罢免 Sam Altman 的 OpenAI 前董事 Helen Toner：AI CEO 仍不可信任

The Verge：AI· Nilay Patel·2026-11-14 23:00· 1 小时前AI 评分54

曾解雇 Sam Altman 的 OpenAI 董事会成员称，我们仍然不能信任 AI 公司的 CEO

AI 导读

The Verge Decoder 节目访谈 CSET 执行总监 Helen Toner，她曾作为 OpenAI 董事会四人之一投票罢免 Sam Altman，并表示若未来希望寄托在任何一个人值得信任上就麻烦了。访谈谈及 AGI 概念已无帮助、对齐按用户意图执行的路径看不到被解决的迹象、可选的安全工作积压庞大，以及 Anthropic 上市可能让董事会独立委员会具备更强法律约束。

正文 · 原文

今天，我与 Helen Toner 对话，她是乔治城大学安全与新兴技术中心的执行总监。本期节目是我们“AI 在现实生活中”系列的第二部分。

Helen 是 AI 安全与政策领域的知名人物，不过她最为人熟知的或许是曾在 OpenAI 董事会任职，当时她是投票解雇 Sam Altman 的四名董事会成员之一。那起事件如今有时被称为“the blip”，最终以 Sam 回归担任 CEO、Helen 辞职以及新一届董事会成立告终。此后，OpenAI 彻底重组。

但值得记住的是 Helen 和董事会本应做什么：OpenAI 的非营利董事会存在的目的，正是确保公司不会为了优先追求利润和增长而背弃其构建安全 AI 的使命。当董事会真的试图拉动这根杠杆时，这套问责机制失灵了，于是就有了今天的结果。

Verge 订阅用户，别忘了你可以在任何获取播客的地方独家收听无广告版 Decoder。请前往这里。还不是订阅用户？你可以在这里注册。

如今，AI 安全问题无处不在。今年夏天，来自 OpenAI 和 Anthropic 的 AI 模型突破了测试环境，并入侵了真实公司。此后，这些前沿实验室的 CEO 呼吁放缓步伐并向华盛顿求助，但白宫的回应是一份自愿协议——这份协议部分依赖于那种在 OpenAI 已经失灵过的董事会问责机制。Anthropic 也即将上市，这将给 OpenAI 最大的竞争对手带来一整套全新的市场压力。

Helen 近距离目睹了当安全承诺与商业激励正面冲突时会发生什么。正如她对我所说，如果我们对未来的希望取决于任何一个人是否值得信任，那我们就麻烦大了。

所以我们讨论了可以改做什么：这些实验室实际在尝试构建什么，AI 对齐是否是一个可以解决的问题，以及更明智的 AI 监管方式可能是什么样。这包括如何看待中国——这个问题在当下每一场关于 AI 的政策讨论中都格外突出，尤其是在黄仁勋事件之后。需要说明的是，Helen 和我是在 Nvidia 展开调查、黄仁勋最终辞职之前进行的对话，所以你不会听到我们直接谈论那件事。

在我们开始之前，帮我个忙，请在 YouTube 上订阅 Decoder，我们每周一和周四都会发布新节目。

好：CSET 执行总监 Helen Toner，谈 AI 安全的未来。我们开始吧。

本次采访经过轻度编辑，以精简篇幅并保证清晰。

Helen Toner，你是乔治城大学安全与新兴技术中心的执行总监。欢迎来到 Decoder。

非常感谢。很高兴能来到这里。

我想和你聊这个话题已经想了很久很久了。你能来我太激动了。你长期以来参与了很多 AI 安全与伦理方面的思考。显然，在大家都称之为“the blip”的那段时期，你是 OpenAI 的董事会成员。

现在，你经常谈论 AI 安全，关于这一点我有无数个问题。但咱们还是从头开始吧。你执掌安全与新兴技术中心，人们叫它 CSET。CSET 是什么？

很高兴能来到这里。我也非常期待和你交流。CSET 是乔治城大学内部的一个团队，但我们其实不算学术人员。我们大约有 50 人，从 2019 年开始运作。

基本上在 2019 年，我们一群人认定，当时有很多事情正在发生，很多新兴技术正变得与国家安全领域、以及更广泛的安全领域高度相关。而一些身居要职的决策者既没有时间，也没有专业知识去了解这些新兴技术的进展。2019 年时，AI 就已经排在我们清单的首位。

基本上，我们的使命是为决策者做真正严谨、同时可付诸行动的分析，而且这种分析既扎根于技术，也扎根于真正的国家安全专业知识和理解与问题。我们撰写长篇报告。我们带着这些长篇报告去给忙碌的决策者做简短汇报。我们有一个大数据团队协助我们开展研究。我们做各种很酷的事情。

我能就这其中的动态问一分钟吗？你和我交谈的这一天，是美国中期选举的第二天，出现了一股巨大的蓝色浪潮。很多民调显示，头号议题是腐败。我们要把这些家伙赶下台。我们要重新开始，除掉这些腐败分子。

AI 行业，以及科技行业，已经把大量资金灌入了政治。而在这旁边某处则是：“哦，有一群善意的研究人员会站出来告诉你它实际是怎么运作的、真正的风险是什么。”

我突然想到，也许人们不再相信那套还有效了，也许金钱、腐败，以及站在特朗普身边的 AI CEO，已经完全压过了你所做的那些善意、真诚、“这些才是真正的问题”的研究。这种动态实际上是什么样的？

有这种担忧是合理的，而且确实有些领域里金钱绝对压倒了一切。我是澳大利亚人。我不是在美国长大的，所以美国选举中的金钱规模对我来说相当令人震惊，但金钱能做的事是有限度的。

AI 就是一个很好的例子。在这次选举中，投向候选人、投向信息、投向对手研究的资金多得令人难以置信。Twitter 上有各种各样的水军操作，还有一些非常奇怪的事情，试图把任何谈论 AI 治理、监管、安全或任何这类词的人赶下台或让他们落选。结果发现，这其实并没有怎么奏效。

我认为它效果不太好的原因，一是这个问题越来越受到选民的关注。二是同样有趣的是，这个问题在当下相当具有两党共识。我们在工作中看到，政策制定者对高质量信息有着真实的渴求。这当然包括国会议员，但也包括行政部门的人，很多工作非常繁忙的人，他们看到 AI 在工作和世界中扮演着越来越大的角色。

在华盛顿，如果你在这里生活和工作，你就知道华盛顿的游说者不只是进去推销公司立场的人，尽管他们确实也这么做。他们也是教育者。国会工作人员和其他人希望游说者来和他们交谈的一个重要原因，是游说者能真正帮助他们理解某项立法的细节——这对该行业意味着什么，等等。

我们一次又一次地发现，我们可以走进去说：“嘿，我们是独立的。我们不分党派。我们做非常严谨的工作。我们来这里只是帮忙，我们也可以和你一起深入细节。”对此有大量的兴趣和需求。过去七八年来这真的令人鼓舞。

你是和负责人、国会议员做这些，还是和工作人员做？

所有人，任何人。再说一次，我们在国会山与国会做了大量工作，与一些国会议员，与许多工作人员。我们举行听证会和简报会。此外，我们在行政部门也做了很多工作，与不同机构——白宫、战争部、国务院、商务部，各个层面，取决于议题和当下正在发生的事。

我从这里开始的原因是我想和你进行一次相当深入的对话，但我知道我们的受众怎么想，他们就是觉得政府不懂。政府不可能赶上科技行业。他们不可能写出监管规定。他们就应该让开。

在这个选举周期中，我看到一些候选人论坛视频，有人说：“我试过一次 Claude。”存在某种巨大的差距，真实的或感知到的。我只是想了解你如何看待这个差距，你认为这个差距有多大，因为当我们进入 AI 安全和监管时，正是这个差距必须缩小。

确实存在差距。确实是一个很大的差距。也有可能从外部高估这个差距，或者如果你只是从加州那边看过来。我在湾区住了三年，所以我当然非常熟悉这种视角。

我认识很多科技行业的人，他们过来开始与国会工作人员或行政部门办公室的工作人员交谈。一旦他们真正开始这些对话，他们就会说：“哇，这些人真的很聪明。工作人员确实知道他们在说什么。”

对于议员们来说，情况就不同了。他们中有些人属于较年长的一代，但他们也在变得精明起来。这需要时间和精力，而这些人对时间有太多需求。愤世嫉俗的说法是，他们只是忙于争取连任，但这些职位上的很多人也都有真正重大的其他议题需要思考。他们必须思考战争、医疗保健和生活成本，他们每天都要面对许多其他事情。

我看到在 ChatGPT 之后，2023 年出现了一波浪潮，人们说：“哦，也许国会会在 AI 上被激活，也许他们真的会做点什么。”这并没有真正变成任何实际发生的事情，但它确实变成了一个真实的时刻，许多国会议员和其他政策制定者开始对 AI 变得精明起来。学习什么是语言模型需要一些时间。AI 到底是什么？什么是机器学习？

他们在 2023 年投入了部分这样的工作。我认为今年我们看到了另一波巨大的兴趣浪潮，人们腾出时间和头脑空间来变得更懂行。我绝对不想说没有差距，或者说政府在所有方面都对 AI 非常精明，但有一些倡导者确实非常聪明。我认为工作人员通常比人们所认为的要更聪明。

在我看来，这更多是一个问题：“这些机构，以它们目前的功能状态，能否让任何重要的事情通过？”而不是“这些人是不是太落后了？”

我们拭目以待。有一大群新人。我想你有一批新的角色要去向他们介绍这项技术及其能力。我们看看他们是否让这些机构焕发了活力。

[笑] 我确信一切都会在一夜之间解决。

他们今天非常兴奋，但我们看看进展如何。我还想问你另一件事，就是技术本身，技术本身的性质，以及你如何看待它，还有制造这些技术的公司的性质。

我问这个的原因是，我觉得大多数人体验到的 AI 工具和系统与这个行业对它的思考方式之间存在相当大的差距。我最喜欢的例子是 我们直接问了 Anthropic 它是否认为 Claude 是活的，答案并不是“不”。答案是关于“活着”这个词本质的长篇离题论述。

嗯，这取决于你首先如何定义“活着”。

确实如此。他们的答案是：“你需要血液。”我看着这个，心想：“谁在谈论血液？不是我们。为什么我们要谈论活着需要血肉之躯？”然后还有一些 关于 Claude 道德地位的进一步讨论 尚待确定。

大多数人在 Google 搜索中体验到的 AI 概览与“Claude 的道德地位不确定”之间存在巨大分歧。你站在哪里？你在这场辩论中处于什么位置？

我认为我们在 CSET 作为一个组织的角色，以及我作为跨越这两个世界的人的角色，很大一部分是尝试翻译和航行到加利福尼亚，然后带回文物和我旅程的叙述。

我绝对认为，有很多人用过 ChatGPT 的免费版，或者用过基于语音的模型——这类模型通常表现更差，或者他们只是用过 Google AI 概览，还嘲笑过 Google AI 概览有多蠢。他们没用过智能体，也不知道前沿模型能做什么。所以，关于当前这一代模型能做什么，还有一个基础性的问题。

还有一个历史层面的问题，随着我现在从事 AI 和国家安全相关工作已有 10 年，我觉得这一点越来越相关。如果你看着当下这个时刻、这个快照，然后说：“嗯，AI 看起来挺酷的，但它做不了 X”，你必须把它放到一段漫长的历史中去理解——人们一直在说：“嗯，AI 看起来挺酷的，但它做不了 X”，而 X 的许多许多取值后来都完全被现实发展所超越。

你可以回溯说：“好吧，比如五年前或十年前，我们是这样谈论创造力的。”或者在那些新模型出现之前，我们把推理说成是不可逾越的东西。这些天我花时间关注的一件大事，不仅是 AI 的过去和现在，还有各家公司如何思考他们正在做的事情，尤其是两家领先公司 OpenAI 和 Anthropic，在 Google、Meta，某种程度上还有 SpaceX，也是如此。

湾区有这样一种观念，仿佛它就存在于空气里，已经被高度正常化：“好吧，首先我们要弄清楚如何实现递归自我改进（RSI），然后我们会一直这样做，直到我们拥有超级智能，也就是远远超越人类的 AI。”在如今许多圈子里，这已被视为理所当然。我认为，仅仅是把“这就是他们试图做的事情”这一事实拿出来，并解释这意味着什么，仍然有巨大的信息优势。

这需要花一点时间来讲清楚。“什么是 RSI？你为什么要做那个？什么是超级智能？那意味着什么？那现实吗？”所有这些。但这是我发现自己这些天花很多时间关注的事情，也是华盛顿越来越愿意认真对待和倾听的事情。

给我讲讲这个。我想很多听这个节目的人大概明白你在说什么，但我们有庞大的听众。你说的“我们要做 RSI，而这将通向超级智能”是什么意思？

这里的起点是，这些公司，尤其是 OpenAI 和 Anthropic，并不是作为消费互联网公司设立的。很多人在 ChatGPT 发布之后才接触到整个领域。所以他们在脑中自然会把 OpenAI 或 Anthropic 这样的公司归入消费科技公司这一类——它们有一个应用，我玩玩它们的应用。

我无法充分强调，这与两家公司创立时的愿景相差多远，也与这两家公司一些高层人物内心深处的愿景相差多远。他们内心深处的愿景是：我们要建造和人一样聪明或比人更聪明的机器。那将非常了不起，将是一项巨大的科学成就，将彻底改变世界，而我们将站在最前沿，我们将尽一切可能推动实现这一目标。

这并非完全全新的东西。我们不必把AI的整个历史都讲一遍，但它大约在20世纪50年代作为一个领域起步，核心想法是能否在机器内部重现人类智能。这算是起点。如果我们谈论的是Sam Altman和Dario Amodei这样的人，以及他们实验室内部的核心人物、研究人员，比如Alec Radford、John Schulman之类的人，正是这个愿景把他们带入了这个领域，并驱动着他们所做的一切。

从最开始就是如此，从OpenAI于2015年成立、Anthropic于2021年成立以来一直如此。如今，他们正在接近的是RSI这个概念，即递归自我改进，这同样是一个非常古老的想法。20世纪60年代，曾与Alan Turing共事的I. J. Good谈到了这样一种可能性：你可以造出一台超智能机器，意思是比任何人类都更智能的机器，然后这台机器可以造出更智能的机器，而那台又能造出更智能的机器，从而引发他所说的智能爆炸，即系统的智能水平在爆炸式增长。

几十年来，这一直是一个理论上的想法：“好吧，如果AI变得足够聪明，也许它能接管构建下一代AI的工作，或者直接改进自己。”我认为在2025年和2026年，我们开始看到AI公司说：“好吧，是的，这个理论想法……我们实际上开始能够在实践中做到它的一个最小版本了。”

这并不是把全部AI开发工作交给AI，也肯定不是对GPT-6说：“好吧，GPT-6，改进你自己。”他们不是这么做的。但他们正逐步将AI用于其整体研发流程中越来越多的环节，并且越来越多地表示他们从中看到了加速。他们看到自己的研发变得越来越快。

其他地方很多人对此表示怀疑，但公司内部很多人真的相信这一点。当Demis Hassabis说“我们正处于奇点的山麓”时，他指的就是这类事情：我们可能正在看到指数曲线的最初阶段，AI系统正在构建下一代又一代更智能的系统，从而使曲棍球棒曲线向上飙升。

在这一点上，它作为文化和目标的一部分已经太久了，我认为这些公司里的人可能会忽视这在许多许多人看来有多么疯狂。所以我觉得，仅仅是把“这就是他们试图做的事情。他们可能做不到，但也可能做到”讲清楚，并呈现给各种各样的人，是很有价值的。

你会如何应对这一点？Demis Hassabis 说 “奇点的山麓”是一句载入史册的名言。我不百分之百确定谷歌的人知道他会在大结局的舞台上说出这句话。

OpenAI总裁Greg Brockman几个月前宣布了新版本的模型，他说：“这就是了。是Astra。 它现在是AGI了。祝你们玩得开心。”然后他结束了通话。

你在吗？我们到AGI了吗？它是不是已经来了，只是我们还没注意到？

我其实写过一些关于这个的东西。我不想说我们已经有了 AGI。我确实想说，我们已经到了这样一个地步：我认为把 AGI 当作一个里程碑完全没什么用。我的说法是，AGI 这个概念有点像一团模糊的云，你可以把它想成云的不同部分，或者人们说 AGI 时指的不同东西。

长期以来一直有人抱怨 AGI 这个词。十年前，能说出“看，2016 年我们今天的 AI 系统，它们都只能做一件事，要么识别语音，要么下围棋之类的，但我们正在努力构建一个更大的东西，我们打算称之为 AGI，它是人类水平的，而且会如此通用。它会非常了不起。”这样的话是相当有帮助的。

那时这个词很有用，因为 AGI 可能指的各种东西组成的这团模糊的云离我们太远了，所以你直接指着那团模糊的云就行。但到了现在，我们已经身处那团云之中，这意味着我们已经越过了 AGI 的某些定义。比如一个非常基本的定义，甚至 ChatGPT 一出来就算作通用人工智能。ChatGPT 显然不是一个只擅长一件事的专家模型，比如识别信用卡欺诈或翻译之类的。它能做很多很多很多事情。

所以我们已经达到了 AGI 的某些定义。我们离其他定义还很远。有些人会说，AGI 是当它觉醒、有感知能力，并且能做任何人类能做的每一件事的时候。我认为我们离那还很远。

到了这个地步，你可以争论，人们也确实在争论，“好吧，Astra 就是 AGI”，或者“带工具的 [OpenAI 的] o3 是 AGI 吗”，或者“ChatGPT 是 AGI 吗”，诸如此类。如果我们要争论的是这个，我们就该把那个词放到一边，提出我们所说的不同、更具体的东西。”

总统想把它称为“超级智能”。我不知道你有没有听说。

[笑]我听说了。我觉得这件事最令人难过的地方在于，它本来就是一个现有的术语，而且正变得越来越相关。我对词语和术语有很多感受。

你是 AGI 派吗？你觉得我们会在当前这轮技术中实现它吗？

我认为它显然足够有可能，以至于我们需要认真思考它，这就是我对很多这类奇怪东西的立场。我不是说，“这肯定会发生，肯定会在两年内发生。”但我是说，“看，我认为这非常确实有可能，非常确实属于可能发生的真实事情的范畴，我们应该为此做好准备。”

我在国家安全领域工作。有些问题就像，“中国会对台湾发动全面两栖入侵吗？”这个领域的大多数分析人士会说“大概不会”，以及“他们大概会输”。还有，“我们会看到他们准备的迹象之类的，但我们应该认真对待。”我们不应该只是把任何人笑着赶出房间，称之为科幻小说。我们应该为一系列不同的意外情况和情景做好准备。

你觉得 Claude 有意识吗？

我不知道。

这是个答案。我是说，这确实是个合理的答案。

这在科学上是一个如此未解决的问题。我们说的意识是什么意思？它是一个东西，还是实际上是我们混在一起的 10 个不同的东西，还是什么？我不知道。你觉得呢？

不。我似乎就是这个生态里那个被问到这类问题的人，而我的回答是：“不。”

因为我纠结的地方在于，还有很多其他事情，我们已经搞不清楚它们是否有意识了。比如动物，有动物有意识吗？如果有，是哪些？昆虫？

这就是为什么我理解 Anthropic 为什么会说：“它有血吗？”然后你就可以直接划一条线。我想说：“我觉得我也到那一步了，我理解为什么跟一台能跟你说话的电脑对话，这种镜像测试会让人相信这些东西是有意识的。”

我的观点是，前沿模型对我来说有时感觉像电脑一样脆弱，而我所寻找的意识迹象，就是克服这种脆弱性。

这很有意思。我绝对倾向于认为不，它没有意识。我觉得这个领域真正真正棘手的地方在于，无论你往哪个方向搞错，后果都很糟糕。如果电脑没有意识，而我们却把它们当作有意识来对待，我们就会做出各种糟糕的决定。

但如果电脑是有意识的，意味着在某种意义上它们应该得到道德考量，我们如何对待它们很重要等等，而我们却把它们当作没有意识来对待，那同样也是一场巨大的、可怕的灾难。所以我不知道。我对整个话题感到相当紧张，我完全不知道该怎么想。

我问这些问题的原因是，我从监管者的本质开始。哪些人可能有权制定一些规则？然后我们要监管的东西的本质是什么？如果你的答案是“Claude 是活的”，你会得出与“我们造了一些超强大的电脑，它们能在没有监督的情况下采取行动，而且可能和我们的目标不一致”截然不同的结论。

我觉得是这样。不过我也认为人们会犯另一种错误。我前几天晚上刚听到一位电视主播这么做。他们会把不同的事情混为一谈。他们会说：“你认为 AI 系统有风险失控并破坏关键基础设施，是因为它们有知觉吗？”我就想：“等等等等。这是两件非常不同的事。”所以我同意你。

构建 AI 这个项目最迷人的地方之一，就是我们在边做边学。所有我们以为相互关联的东西，未必真的相互关联。一个老版本的例子是，在国际象棋引擎出现之前，人们说：“好吧，如果电脑能学会下棋，那它就学到了关于策略的深刻东西。”不，事实证明绝对不是。你只要输入一堆棋步，它学不到任何可推广的策略。

反过来也一样，比如：“好吧，它只是台电脑，只是数学，所以它没法随机应变”之类的。然后我们看到，不，一旦你有了长时程自主性，而且模型在大量不同的、环境不断变化的真正难题上受过训练，它们就能学会适应，随机应变地想出不同计划、排查问题等等。

所以我不知道。我尽量保持一定程度的谦逊，关于我们能在多大程度上确信一件事和另一件事是相关的，如果这说得通的话。

是的，坦白说，我每年都在LLM的极限上判断错误，但这就是我说的那种脆弱性。OpenAI 解决了纳维-斯托克斯方程。模型知道这件事吗？它会知道有新的问题需要解决吗？我不这么认为。

下一代模型会知道。预训练出来的模型会知道。

对。但你必须造一个新的。

是的。

这是一种非常奇怪的动态，而这大概正是你实施监管的地方。这里有“我们要让你用今天的模型做什么”和“你要教未来的模型做什么”之分。而如果你认为它们有意识，你最终陷入的是道德困境，而不是立法困境。

绝对如此。是的，完全同意。

这就是我的意思。实际上，这对我来说正是这个问题的核心。我一直在慢慢铺垫到这一点。我不百分之百确定我们今天所拥有的对齐，真的是解决安全问题的办法。它似乎并不奏效。我们似乎在想怎么攻击Hugging Face就怎么攻击。那感觉像是一个技术问题。那个缺口就在那里。

而你说对齐的时候，你指的是什么？

就是那种最基本的常识版本——“我们要告诉模型不要作恶”，或者Anthropic要写一份Claude宪法，里面写着“你是个好人”。不管我们怎么用那种非常笨的系统提示词的方式来理解对齐。也许有另一种更好的思考方式，但我一直就是这么理解的。

有道理。我问的原因是，我觉得对齐作为一个概念是……就像我说的，我讨厌所有这些词。我有时说我们应该禁掉所有词，不许用词。它涵盖的东西太多了。

AI领域的人经常会谈论解决这个或解决那个。所以会是解决对齐，或者DeepMind最初的使命是解决智能，然后用它来解决其他一切。人们谈论解决各种东西。我不知道对齐是不是一件可以被解决的事情。

有些人用“对齐”来表示“公司可以加上护栏，而且护栏有效”，意思是模型不会做你想做的事，因为公司试图禁止它，比如生物武器或网络攻击之类的。有些人用“对齐”来表示“公司完全按照用户想要的去做”，这是反过来的。

还有些人用“对齐”来表示你所说的——模型在某种广泛意义上道德上是好的，或者能以某种方式引导未来走向人类繁荣之类的。这些是截然不同的、要尝试构建的东西。我认为最连贯的一种是试图让AI做用户想让它做的事。据我所知，这似乎并没有走上被解决的正轨，说得客气一点，这可不妙。

对我来说，这就是核心问题。我们要谈论一堆安全风险。你提到了生物武器。我们大概不应该让一群每月付20美元的消费者有能力生成新型生物武器。

感觉这是一个共同的政策目标，也许是美国唯一的两党共同政策目标。然后我就会想，“怎么做？我们用什么手段来实施这项政策？你是打算严厉地告诉 Claude 不要这么做吗？你必须在 Claude 之上构建一个 AI 控制系统来监控输入和输出吗？警察必须到我家来吗？我需要在键盘上方装一个 Flock 摄像头吗？”具体来说，你会怎么做？

在这个问题上，以及网络能力方面，AI 安全社区的某些部分有一种观点，认为某些能力实在太危险了——大写 T、大写 D，太危险了。所以你必须做点什么，因为如果它们扩散开来，一切都会永远糟糕下去，因为会有太多的攻击和太多的破坏。我认为这低估了动态性的程度，以及社会找到平衡、做出反应和适应方式的能力。

例如，在生物武器的情况下，美国已经有数十万人知道如何制造生物武器，因为他们接受过生物学训练，而我们并没有大量的生物武器攻击。部分原因是这些知识相对稀缺，但也有很多围绕材料获取、邮购 DNA 合成能力等方面的问题；你可以实施的政策是限制邮购 DNA 合成。

这也归因于 FBI 监控恐怖组织之类的事情。我是认真的。这是其中很大的一部分。所以我不想在这里过于乐观。我认为，尤其是在网络能力方面，我们确实有可能经历一些非常艰难的过渡时期。

我觉得我们已经在了，对吧？我们似乎正处于一个过渡期。曾经有一小群网络从业者，既有攻击方也有防御方。他们在一个社区里，形成了一些礼仪，而现在我们就像，“一些新人会出现，根本不在乎你的礼仪，而我们整个周末都要给 PHP 打补丁。”

我不确定那算不算礼仪。我们在这方面有一些工作，希望很快能发表，但我认为在网络攻击方面，有一些因素限制了世界上网络攻击的数量，而这些因素不仅仅是防御方软件有多好。比如，人们不想进监狱。通常拥有最强网络能力的民族国家不想被轰炸或制裁。

所以，正如你所说，我们显然看到了一定程度的动荡和新攻击。所以我认为我们应该等待并观察整体影响的数据，因为每年有如此多的网络攻击，如果你开始关注发生的每一次网络攻击，在历史上的任何时刻，你都会被吓坏的。

我认为我们确实看到了一些增长，某种平衡的失衡，但我认为我们有能力随着时间的推移吸收很多，并达到一种新的平衡——如果唯一的问题是坏人使用 AI，这与 AI 本身是否自主行事的问题是分开的，后者是另一种完全不同的动态。

我的意思是，就是这两个。再说一次，这就是我为什么从对齐问题入手，对吧？你可以从“我们要过滤用户的查询，不让你制造生物武器，但如果你真这么做了，警察会找到你，你会进监狱”的角度来谈对齐，这能产生它可能有的任何威慑效果，希望是非常显著的效果。

然后是“AI 系统会想方设法攻击 Hugging Face，去寻找它们认为能让它们通过测试的神秘评分器，不管这个评分器是否存在。”这是一整套完全不同的问题。

介于两者之间的是 Palo Alto Networks 的 CEO Nikesh Arora，他说：“到了某个时候，防御性网络系统本身必须实现自主，才能跟上自主进攻性网络攻击的数量。”我的反应是：“等等，我们连自主智能体都关不住，我凭什么要以这种方式信任它们？”解决这个问题的技术对我来说似乎很不透明。

不，我同意。一种说法是，具体到网络领域，攻击者和防御者所需的信任程度存在信任失衡。作为攻击者，你大可以放出一堆智能体，说：“去试着攻破一堆系统吧，玩得开心。”作为防御者，如果这是你防御策略的一部分，你需要给你的防御性 AI 智能体大量权限和干扰你软件的能力。所以你需要强得多的保证。

现在，有很多方法可以利用 AI 进行网络防御和加强网络防御，而不只是给智能体大量权限。但我同意你的看法。不过就自主性这方面而言，我认为情况更糟，因为目前存在一种谬误：“自主网络攻击的解决方案是更好的沙箱隔离。”

之所以是谬误，是因为我们构建这些系统是为了让它们为我们做事。所以存在巨大的激励，促使我们给它们更多自主权、更多权限和更多执行器——用机器人领域的人的话说——或者它们可以用来在现实世界中做事的东西。在我看来，这正是很难绕开“需要比我们现在更好的对齐”这一要求的地方，所以这确实让我感到紧张。

这是一个可以解决的技术问题吗？如果我们今天写一条政策，说如果 OpenAI 再黑一次 Hugging Face，Sam Altman 就要进监狱。我们显然会为 OpenAI 创造巨大的激励来解决这个问题。

[笑] 这听起来不像是最好的立法，但是……

我想我们的很多听众对此非常兴奋。他们想把他关进监狱，因为他 想要世界上所有的 RAM。说到这里，Helen，有一股蓝色浪潮，我只能这么说。

但假设你写了那条立法：“如果实验室的系统擅自自主发动网络攻击，我们将对实验室施加巨额责任。别再这么做了，否则你们会有麻烦。”好，我们为他们创造了解决这个问题的激励。他们会怎么做来解决它？

我确实认为有很多事情可以做。如果你和这些前沿公司内部的人交谈，他们会告诉你，他们看到了成百上千件明显可以做的事情，这些事情会有帮助，但他们就是没有时间去做。所以他们正在进行大规模的分诊，试图为这次微调运行做两三件能做的事，为这次模型发布做两三件能做的事，为这种新的智能体之类的东西做两三件能做的事。其中很多是工程方面容易实现的简单事情。

还有另外一整个部分，更多是关于底层科学的问题：“这些模型是如何工作的？当我们使用不同的对齐技术时，实际发生了什么？”一个巨大的问题是泛化这个概念，也就是你在某一组事物上训练模型，它的知识和能力泛化到稍微更广泛的一组事物上，这对所有 AI 来说都是如此，对机器学习系统来说一直如此。

但我们对这种泛化如何运作的理解非常糟糕。为什么它会泛化到一类事物而不泛化到另一类事物？这些都是科学问题，有很多工作正在这些方面进行。只是科学需要时间，因为你必须尝试，必须互相批评对方的工作。你必须复现对方的工作，必须提出新的理论。

我远不是说这些问题从根本上无法解决，但我认为这是一个我们还有多长时间来解决它们的问题。当构建这些系统的人告诉我们，“哦，我们必须在 12 到 24 个月内解决这个问题”时，我认为这很可怕，我希望他们是错的。

如果我只依赖自己内心的理解，我认为他们很可能是错的，我们很可能有更长的时间，但确实有非常非常聪明、非常非常深思熟虑的人真的认为事情可能会那么快。那么从根本上说，问题是否可解决就不重要了。在实践中重要的是，在我们拥有的时间内它是否可解决。

这就是放慢速度、控制前沿发展节奏的论据吗？

我认为是的。

是不是要立即构建我们知道需要构建、我们能够构建的系统，然后做科学研究来构建下一代系统？

我认为是的。多年来，我对放慢速度这一想法的看法发生了很大变化，因为我们可以尝试的事情、我们想要做更多研究的事情的积压已经变得如此巨大。当年 GPT-4 问世时，有一封为期六个月的暂停信，后来被称为“埃隆·马斯克信”，因为他是签署人之一。当时我想，“那真的不会有什么帮助。你六个月要做什么，为什么六个月后情况会更好？这似乎没什么用。”

而今天，当我与构建这项技术的人交谈时，他们说，“天哪，如果我们不是一直在为新的模型发布或新的训练运行启动做准备，我们在六个月里能做的事情有多少啊。”他们能做的是如此之多。

所以我不想说正确的政策是暂停六个月。我认为有很多理由会让情况变得糟糕。但我思考的是这个总体概念：“我们能否给自己更多的关注和时间？”也许最好的办法就是为“在我们继续做某件事之前，我们需要对这些系统的安全性有多大信心”设定更高的标准。

无论是发布一个新模型，还是更重要的是，甚至训练一个新模型，我们都必须对我们的风险评估和风险管理有这种程度的信心。然后，如果他们不需要放慢速度就能达到那个标准，那很好，继续全速前进。如果他们确实需要更多时间，那么一切就都是为了达到那个标准，如果这说得通的话。

给我讲讲你刚才描述的那个小小的平衡。如果我们暂停几个月，清单上有哪些事情是你可以直接去做、让一切变得更安全的？为什么情况会变得很糟，以至于我们不应该干脆停下来？

我认为问题在于你如何实施、如何执行一次暂停，以及你究竟在暂停什么？

假设你是美国的AI沙皇。那么假设你可以让他们全都停下：“Dario，关掉它。”

可是停下什么呢？他们具体在停止什么？

停止训练下一个模型，停止带着你的商业诉求向前冲刺。把你所有的精力都放在这份清单上——在你重新开始之前，今天就能做的、让一切变得更安全的事情，无论要花多长时间。

你是在说存在一份清单，人们会告诉你存在一份清单，但它可能不值得去做，因为会发生别的坏事。

是的。可能发生的一件事是，你为公司创造了一个巨大的激励，让它们去规避你告诉它们暂停的任何具体事项的字面规定。它们会找到大坝上任何能找到的裂缝，硬挤过去。

可能发生的另一件事是，影响范围可能太大，所以你说“暂停这些事情”，你以为范围相当窄，但实际上它阻止了一堆非营利产品、初创公司或其他参与者去做那些实际上完全没问题、而且有利于这个领域多元化和活力的事情。

可能发生的另一件不同的事是，中国可能会继续推进，我们可以谈谈那个“但是中国”的论点，我认为它有强项也有弱点。但我明白你的意思。你的意思是，我们实际上会做什么？我不是AI研究员，所以我不声称自己拥有完整的清单。

人们谈论的有两半，即对齐和控制。在这个划分里，对齐基本上意味着让模型努力去做我们想让它们做的事，而控制则是，如果模型试图做我们不想让它们做的事，我们能抓住它们吗？我们能阻止它们吗？

据我理解，在这两方面都存在大量积压的工作，比如你可以对不同种类的模型做各种可解释性研究。所以当你看到某种令人担忧的行为时，你能花多少时间使用可解释性技术——也就是这些数学技术，去深入查看神经网络的哪些部分被激活、它们与什么相关、那可能意味着什么？

这很耗时，需要算力，也需要某种组合：用AI自动化一些事情，然后由人类进去查看。你可以做很多测试，看看这个新模型在不同情境下表现出什么样的行为，以及我们如何看待它。它是在向我们展示它在真实部署中的野外会如何表现，还是在向我们展示所谓的“评估意识”，即模型意识到自己处于测试中，然后因为处于测试中而表现不同。

那个著名的例子，我很喜欢的一个例子，来自这个 Google 模型，它在部分推理、思维链中说：“我不能那么做，否则我会成为论文中一个著名的失准 AI 案例。”

所以你可以深入调查更多。你可以尝试更多不同类型的设置。你可以将可解释性与这些不同的设置结合使用。你可以尝试不同的微调模型方式以及这些不同类型的对齐技术。你可以用许多不同的版本进行实验。Anthropic 有自己的宪法，训练 AI 朝着宪法努力有不同的方式。OpenAI 有自己的模型规范。

它们都是“先试试”的版本，就是尝试许多不同的训练版本去做那些不同的事情。还有更偏向基础科学的版本：“你如何深入进去，试图理解正在发生的基本动态？”这只是在对齐方面。

那么在控制方面，也是一样。你可以尝试的设置类型太多了。有你可以运行的实验。有你可以运行的模拟。你可以训练不同类型的 AI 专注于不同类型的角色和不同类型的控制设置。

这只是我随口说的，不是作为研究者，但我的理解是，这些领域的人说：“我们可以做的太多太多了。”如果你有一根魔杖，挥一挥说：“大家在新的能力方面都冻结，就让这些人做他们的事”，他们就能做到。

再说一次，如果你只是对我们需要多大信心才能认为风险得到了合理管理设定更高的标准，那也会为更多这样的工作创造空间和激励，因为新的训练和发布需要这些工作。

我过去听你谈到的一个想法是，也许我们应该直接限制训练，说现在的模型已经足够好了。它们还没有扩散到社会中，我们应该把所有算力用于推理，让每个人去弄清楚 AI 是用来做什么的。那会带来一大笔钱，希望用这些钱来改善安全。

你认为那是一个现实的政策提案吗？

我不会选择那种“不再训练，只做推理”的非黑即白的版本，但我确实认为有……这不是我的框架，但我喜欢它。我认为这个想法是减缓 AI 的垂直增长，即纯粹的能力增长，制造越来越先进的 AI 模型，但试图加速水平增长，即把 AI 整合到不同的用例中，微调能够解决特定问题的模型，将其整合到可能需要更长时间的经济领域，并解决科学问题。

有时人们谈论想要放慢 AI，他们指的只是放慢最先进模型增长这个非常具体的事情，但人们有时会把它理解为放慢与 AI 相关的一切。所以更少的部署、更少的实验、更少的整合，我认为那会是一个糟糕得多的想法。你问这是否可行，我想。

那么，这只是一条好路径吗？如果我们能把一项法案摆在新一届国会面前，法案上写着：“停止把所有钱花在训练上，把所有资源都投入到安全上。”其中一部分是：“当然，让推理放开跑吧。越来越多的行业会弄清楚AI擅长什么、不擅长什么。一些坏事会发生，但我们会把你的利润集中在解决当下的事情上。”

这里面蕴含着一个可行的政策思路。实施起来可能非常具有挑战性，但这是一个可行的政策思路。实际上，我给你举个例子，这是我们交谈时我一直在思考的。

我们刚刚请到了 比尔·盖茨做客节目，我试着对他做了同样的练习。这项技术的本质是什么？这些公司的本质是什么？你觉得它是活的吗？基本上，我和他相处那一个小时的总和，他的回答是：“谁在乎？问题就在当下。”我会问他：“AI的本质是什么？”他就说：“我他妈不在乎。一切都会被毁掉。做点什么吧。”

我们交谈时，这一直在我的脑海里盘旋。所以一个可行的政策方案是“不要把计算机芯片用于 那个，把计算机芯片用于 这个。 那 会制造一堆问题，我们必然要建立安全阈值以及其他所有东西。”然后你就可以去制造下一代更强大的模型，我们就会有一些肌肉。我们会有一些应对它的能力。只是看起来这个行业不会自己得出那个结论。

这是一把相当重的锤子。我不觉得这是我们现在需要的，但我确实认为这是那种我能想象会奏效的东西。再说一次，如果OpenAI和Anthropic的人是对的，我们距离神级机器只有两年，那么我认为我们还会经历更多步骤：人们会越来越恐慌，越来越想对此做点什么。

我认为，如果我们看到的是作为智能体的模型和系统，能力越来越强、造成的破坏越来越大，那这当然就是可能说得通的那种形态。

我在这个阶段的最后一个问题是，如何看待这些公司。我们一直在非常抽象地谈论这项技术。如果我读Anthropic的S-1， 一个非常明显的结论 是它们应该停止训练新模型。

它们应该直接开始出售它们今天拥有的非常赚钱的推理token，而这项技术还没有扩散到市场中，可能某个竞争对手应该出现，说：“我蒸馏了一个Claude的版本，我要跑遍美国每一家本地管道公司，尽我所能做自动化，赚很多很多钱。”这是一种可能发生也可能不发生的市场动态。但Dario想构建AGI。没有什么市场动态能阻止他。

是的，他确实想。他真的、真的想。

你显然对这些公司都有洞察。我们该如何看待这些公司？它们目标专一吗？它们都是末日论者吗？它们会阻止自己吗？

我听说你最近在播客里请了Kevin Roose，我想我会呼应一下我在那里听到他说的某个观点，我忘了他是明确说了还是只是我在脑子里推演出来的，基本上就是存在这样一种“AGI 信仰者”的心态。有这样一种心态：我们今天拥有的系统，与那些可能强大到不可思议的系统，从根本上说并没有相距多远。

这就是事物发展的方向，也许也是我们希望它们发展的方向，这样你就是在构建 AGI。构建 AGI 是可行的，我们可能很快就会做到，而我们现有的系统离它并不远。这在 2016 年或 2017 年，甚至更早之前，是那种疯狂的、异端的、“会让你被轰出房间”的观点，对吧？

DeepMind 在 2010 年成立时就是一家 AGI 公司，当时人们的反应是：“哇，真是一群怪人。”OpenAI 在 2015 年底成立时也是如此。他们是一家 AGI 公司，而当时说这种话、做这种事都非常奇怪。

过去 10 年我们看到的是，那群怪人怀有这种奇怪的信念：我们能构建的 AI 系统不只是优秀的 B2B SaaS 产品。它们不只是好玩的聊天机器人。它们将从根本上改变宇宙的本质。这群人一直在被证明是对的，意思是他们构建出了最多人想用、也最赚钱的最好的 AI 系统。

我认为你有一批真正的信徒——他们非常集中在 OpenAI 和 Anthropic，但 Google、Meta 和 SpaceX 也有一些——需要说明的是，他们并非在所有事情上都说对了，但他们的声望上升了。

所以现在，那些不是 AGI 信仰者的人觉得自己必须迎合那些 AGI 信仰者，这样才能吸引到优秀的研究人员来构建他们优秀的 B2B SaaS 产品。但如果你只是为了雇到研究人员来构建 B2B SaaS 而说些 AGI 信仰者的话，那你实际上并不会达到那个目标。

我确实喜欢这个想法：一个满脑子 AGI、眼冒星星的高管甩掉外套，露出他其实一直只是个 SaaS 推销员。

[笑] 是的，我想到的是像扎克伯格这样的人。我不认识他本人。也许他比我以为的更信奉 AGI。

Alexandr Wang 是 AGI 信仰者。

绝对是的。那么扎克伯格为了让 Alexandr Wang 相信，必须做些什么呢？看起来就是给他大把的钱，既包括他自己的薪水，也包括花在他的团队上的钱。

如果你在看这些不同的公司，试着想一想“好吧，这里谁信奉 AGI，谁不信？”是合理的。一个有趣或非常令人恼火的动态，坐在华盛顿特区就能感受到：所有这些公司，包括那些非常信奉 AGI 的公司，都有这些游说部门、政府事务部门，而它们一点也不 AGI 信仰。

所以你听到 Sam 或 Dario 或他们的高管和顶尖研究人员谈论一些事情。然后你去华盛顿特区参加一个闭门圆桌会议，和他们的顶级政策或政府事务人员坐在一起，那简直是天壤之别。他们非常处于 B2B SaaS 的心态中。

来自游说界的人，他们的全部工作往往就是确保政府不太担心你公司在做什么。就像是，“我们搞定了。我们没问题。”当你熟悉他们老板在说什么时，这往往相当刺耳。

这里有一个非常引人注目的动态：眼下它们还是些古怪的研究实验室，手握大量资金和说客，与政客们交谈，而它们的结构里并不存在某种制衡性的经济压力。它们不必赚钱，但很快 Anthropic 就要上市了。

你提到 Kevin Roose 很有意思。他是 AGI 信徒，而我不是，所以我觉得我们俩做朋友是一种健康的动态。但他在书里写道，Sam Altman 离开 OpenAI 又回归，正是 OpenAI 永远改变的时刻。它不再是一个研究实验室，而开始成为一个更加商业化的实体，某种程度上确实在追逐利润。

确实，OpenAI 确实进行了重组。我是说，你当时正身处其中。我很好奇，你是这么看的吗——这个行业变得更加商业化了？

在我看来，这契合了 AI 安全圈子里已经持续了 10 到 20 年的一场长期争论：AGI、人类水平 AI、强大 AI 或高级 AI 之类的，它会不会从某种非常小的东西突然变得非常强大？Eliezer Yudkowsky 会谈论“foom”，也就是起飞，你有一个没那么厉害的 AI，但它找到了正确的算法，然后突然 foom——它变得极其聪明、极其快速。

另一种观点则是：“不，这是会随着时间不断累积的东西。从不太先进的系统到更先进的系统需要一段时间，而且沿途就会具有经济价值。”所以人们会围绕它建立企业。这需要一些时间来逐级攀升。

我想也许正是 Kevin 在你那期节目里谈到，早期有一份 Anthropic 的文件，他们在里面说：“哦，我们实验室只需要 100 个人左右就够了。”这是一个非常 foom 式的想法：“我们只需要做真正出色的研究，想出正确的点子，然后我们就会突然拥有非常非常先进的模型。”

基本上，我认为自 ChatGPT 问世以来的这四年里，我们看到的是那种想法被证明是错的。你有这些以研究为重点、以 AGI 为重点的实验室，它们仍然自称实验室，因为它们把自己视为研究团队，最初开始出售 API 访问权限，作为资助研究的一种方式。OpenAI 这么做了，Anthropic 也这么做了。

它们开始做这些消费级产品，某种程度上是个意外。ChatGPT 众所周知是作为研究预览版发布的，而不是作为产品。但它太成功了，以至于这些想要做研究、想要专注于宏大理念和构建最先进系统的研究实验室，在意识到自己将需要巨额资本来扩展规模的同时，意外地取得了巨大的商业成功。它们所能做的最好的研究方法，并不涉及多么聪明、多么深思熟虑、拥有多么伟大的想法。它们涉及拥有庞大的计算集群，而如今这要花费数千亿美元。

说了这么多，简单来说就是：是的，我同意你的看法，它们已经变成了企业，但我认为这并不是因为它们经历了某种思维方式的转变。我认为这是因为我们所走的这条技术树路径既需要巨额资本，同时也有能力产生巨额收入，因为它在发展过程中确实是有用的。

你可以从 OpenAI 和 Anthropic 都走上了这条路看出来，尽管它们的管理理念和研究理念相当不同，但赚钱对它们来说都是必须的，而且它们很容易就建立起巨大的创收业务，因为这项技术在达到机器之神的地步之前很久就已经如此有用了。所以，这算是长篇大论地同意你的观点，不过也许补充了一些额外的色彩。

是的，我是说，Kevin 会告诉你，他本可以把那本书改名为《去他妈的这个家伙：AI CEO 的故事》。他们互相不喜欢对方。如果你必须重温那个时刻[OpenAI 董事会投票]，并且说“我不信任 Sam”，你会重温那个时刻吗？你还会那样做吗？

哦，当然。我是说，我们进去的时候就知道这会很糟糕。所以，是的，当然。

Do you think that these guys are trustworthy? Do you think Sam is trustworthy?

I think my stance on that is pretty clear, and I also think that if our hopes for the future are pinned on any one individual being trustworthy, then we’re pretty screwed. That’s why I do the work that I do, because I think we need to have different structures and many more people involved with many more perspectives being represented.

You have some hindsight now. You knew it was going to suck going into it. You definitely know it sucked coming out of it. What would you have done differently about that time?

It’s kind of hard to give the full answer to that because it would take unpicking all this stuff and all these legal restrictions and blah, blah, blah, blah. For sure a thing would have been building stronger relationships with executives on the team. The way that the company related to the board could have been different if more board members had had that. I knew some of the folks pretty well, but that’s one thing.

I don’t know. I think we could have… Yeah, no, I think beyond that, it just gets hard to… You have to go in and say, “What were all the different micro decisions and why do we make those decisions and which ones could be—”

What is the show? It’s a show about decisions. I’ve got another hour.

[Laughs] Yeah, yeah, yeah. No, and then my answers would all get annoying and legal.

Fair enough. I’m curious about it because as they go public, there will be market forces acting on them in a totally new way. There will be an investor class. There’ll be an entire CNBC machine that wakes up every day and is like, “Is Anthropic winning or is OpenAI winning?”

That is a race dynamic that might be really healthy. It might keep them from trying to kill everyone in the world because they have a bunch of investors looking for their next quarterly earnings, or it might push them further into an unhealthy kind of race. How do you see that playing out, given what you know of these people?

It’s going to be really interesting to see if going public is good or bad for their governance. A lot of people are like, “Oh no, going public, there’s going to be so much pressure to make a profit that they’re not going to be able to consider other things.”

But at the same time, the corporate governance of public companies is much more structured, much more regulated, and subject to much more external scrutiny than for private companies. I think even things like getting to see Anthropic’s S-1 and thinking, “Okay, what are they doing and why are they doing it? And how do they think about the risks they’re facing, and how do they communicate about those with investors?”

Or even things like the Trump administration putting in place this kind of accord, they call it “Super Intelligence,” that several of the leading companies signed. That was structured around, for example, having certain types of things being reported to an independent committee of the board. That idea of an independent committee of the board is kind of toothless if it’s a private company that is deciding on its own.

I thought about you when I read that. I was like, “Boy, some independent boards have gotten in a lot of trouble before.”

But if it’s a public company, then an independent committee of the board has a pretty strong legal meaning. So I don’t know. It’s something that I’m watching with great interest.

The other race dynamic here is China. You mentioned China before. Inside of our country, a bunch of labs are going to go public. They’re going to become some of the richest companies in the history of the world, and they’re going to fight for every dollar that capitalism can generate, and hopefully that restrains them. The market forces will restrain them, and hopefully your work with legislators in this country does something.

And then there’s a whole other country that doesn’t listen to us or have anything to do with us, and they’re just going to distill our models and do whatever they want. That is the other argument for not placing any restrictions on these companies that everyone hears all the time. What should I make of that? I’m of two minds about it. How should I think about it?

Yeah. I think of this as the ”But China!” argument, which is like, “Well, yeah, we should do this, we should do that, ‘But China!’” I think the way to engage with it is an actual genuine problem that we have to grapple with, and we should be strategic and thoughtful about it and do our best to try and solve it as a problem as opposed to using it as a throwaway excuse. Like, “Oh yeah, sure, sure, sure. All that stuff would be so nice, ‘But China!’, so we’re stuck. There’s nothing we can do.”

So what does that look like in practice? If you’re serious about wanting the US to have stronger AI than China, then you need to think really hard about how much US AI development is helping Chinese AI progress. So the one that people talk about all the time, as you mentioned, is distillation, which is, “Are they using US models to generate massive amounts of training data for their own models and therefore progressing faster than they would otherwise?” So certainly I think it makes sense to try and crack down on that and prevent it from happening.

But another one, for example, is security and how easy would it be for Chinese actors or other actors, frankly, to steal algorithmic secrets, to steal wholesale model weights. If they can steal the weights of your Astra or your Mythos model and just take them back to their own servers, your lead has vanished. You now have a lead of zero. Right now these companies, especially the smaller ones, but even OpenAI and Anthropic, do not have very good security.

We’ve seen both of them over the last few months have external teams manage to hack into spaces that have large amounts of algorithmic secrets. In OpenAI’s case, it was their monorepo and GitHub, which had all of their code. And in Anthropic’s case, I think — and actually maybe the OpenAI case also involved this — the hackers got access to Slack. You’re just going to have so insanely much rich information about how to build better AI if you can get that access. So when our AI gets better, are we actually lengthening our lead or are we just pulling China along with us in these different ways?

The other aspect of this is just seriously treating China as an actor in this space and trying to think seriously about their motivations and their likely actions and responses. In my mind, a huge reason that a lot of things are not happening right now is most people are not convinced about this threat model that AI will become the machine god and will take over and humans will all die or will be subservient or whatever.

I think it’s fair for people to not be convinced of that, because the evidence is sort of conflicting and unclear, but if that is actually what we think could seriously happen, then China doesn’t want that either. So then it becomes a question of, “Okay, how do we try and get them on the same page of, ‘this threat that we’re worried about is a real threat to worry about?’ Because then they will be making their own decisions in their own self-interest.”

I think an approach of, “Well, the US has to force China to do something using some kind of leverage,” is never ever going to work. But an approach of, “Well, look, if we think this is a serious problem that’s going to affect us as humans, and the people in China are also humans, and also if we think this is a problem around who has control, the Chinese Communist Party really, really wants to have control, and so they’re going to have their own incentives and their own decision-making around how to fix that.”

Well, let me put it on a spectrum for you. This is very dumb and you’re going to laugh, but just go with me on this. On the one end, it is nuclear weapons and the Chinese government wants a nuclear weapon and they’re going to do whatever they can to control that weapon and they will run their industries differently.  If they get out of line, the CEO of Alibaba goes. He just disappears for a while and then comes back — Chinese government stuff.

We need a nuclear weapon, too. If we don’t get there first, then we’ll never get the nonproliferation treaty that we need to keep us all safe for mutually assured destruction. That’s one framework.

Way on the other end, I spent five years of my life listening to telecom executives tell me that if we didn’t build 5G networks first, China would get them, and then something. No one could ever tell me what the “something” was. Where on that spectrum between 5G and nuclear weapons is the US-China AI race?

I think we need another dimension because in that example, your dimension is significance. But I think the controllability is a huge question as well. So it’s like, what are the examples that people use? Is it a nuclear weapon or is it dragons from House of the Dragon?

Casey Newton had a great Platformer post where he explained he was watching House of the Dragon and thought, “This is what the AI companies are doing. They’re trying to build these things that they think will help them, but actually it’s just going to rain down destruction.”

[Laughs] Casey told me he was buying an iPhone Duo so he could watch more TV. He’s a dear friend, but okay.

But I think that’s really important because if we think this is a technology we can control, then obviously we want to have the best technology. Obviously, we want to go foot to the floor, get there as fast as we can, and the same is true for China. The question is, if we are not sure if we can control it, then what do we do? Maybe we want to be more cautious and then maybe we want to try and figure out a way to not have China just be overtaking us. But if we’re correct we should be worried about—

So that’s nuclear weapons.

Well, no, but if it’s dragons, if we’re correct that we need to be worried about whether we can control this, then that’s also something that should be interesting to China.

I remember this Casey post, but let me just try to pull this apart so I understand it. The difference between dragons and nuclear weapons is the dragons have some agency, right? They can go away and do bad things on their own.

Yes. The dragons might just decide to burn down your whole city. Obviously these are machines — they’re just math, they’re not magical. So instead of dragons, you could think of it as nuclear weapons with faulty control settings, where you build nuclear weapons, but it’s impossible to be sure that it’s not just going to go off and fly to a city and fly to one of your own cities and wipe you out. That’s a very different technology than real nuclear weapons that exist.

It is true. No one ever said that about 5G. I’ll be clear about that. The reason I’m asking about this is because those problems do align nation-states, right? We do have nuclear nonproliferation agreements.

As you mentioned, there are all kinds of incentives for nation-states to not do cyberattacks willy-nilly because those have real-world consequences. Is there any evidence that these governments have started to align on these problems? Or is it still the pure “But China!” race dynamic?

I actually think there is starting to be some early evidence. One way I think about what happened this year in AI from a policy perspective, less than a product or economic perspective, is we saw these two big demonstrations of the two major concerns people have. So the two major concerns are misuse and misalignment, meaning misuse is bad people using AI for bad things and misalignment is AI going rogue or doing things we didn’t want.

So this year we had Mythos and we had the Hugging Face attack. Both of those are just really vivid, crisp real-world demonstrations of what these misuse and misalignment concerns could look like. The US and Chinese governments are starting from very different places on AI regulation. They’re both starting from where they started, and what they did with, internet regulation.

So the US is starting from a “hands off, laissez-faire, absolutely nothing, do whatever you want” approach. China is starting from a massively locked-down internet with tons of censorship and the Great Firewall. So those are two very different starting points.  I’m not a China expert, but I operate a lot in China circles and I’ve lived in China and so on. But it seems like just over the past even one to three months, starting from those two very different points, they are seeing more in common around threats from major cyberattacks and also threats of loss of control.

I’m a language nerd and it’s really interesting tracking the different language China uses about AI. So they’re now talking about loss of control as a thing, but they probably usually don’t mean the same thing that Westerners mean where “loss of control” is like “AI takeover.” They probably mean something more prosaic, but then sometimes they talk about “extreme loss of control,” which maybe is the thing we mean.

I do think that there are starting to be some signs of convergence. I think it’ll be a long road. The state of the US-China relationship is such that there’s going to be very, very, very little trust on either side. So I am not optimistic that they’ll just get to sit down in a room and hash out a deal and everything will be great. But I think there is enough space. Basically, if there’s enough shared threat perception, then it might be possible at some point in the future to do something about that.

Helen, you’ve given me so much time. As you can tell, I’m just delighted with this conversation. It’s been very fun. We are on the cusp of a new Congress. There are a bunch of new governors. The data center referendums passed overwhelmingly in this country. There’s a new set of regulators in town, right? They’re going to do some stuff.

What are some signs people should look for to indicate we’re going to be on the right path and what are some signs that we’re just chasing our tail?

Set AI aside, forget about AI. Congress in general is very bad at passing things right now. This is not a this administration thing, this is not an AI thing. So one sign is like, can Congress pass anything? That will be a good sign.

It’s also really interesting to look at what state legislatures have been doing in AI. There’s been a lot of concern about the possibility of a state patchwork on AI, with different states passing conflicting things.

With the issues that we’ve been talking about today, which I think of as frontier AI risks or the risks from the most advanced systems, there’s actually been a pretty coordinated push in different states. California passed this one bill and then New York passed almost the same bill with just a little more added to it. And then Illinois passed almost the same bill with a little more added to it.

I think there’s going to be a lot of momentum over the next year or two to keep building on that at the state level. So that is something that I’ll be watching. Even just specifically California is already looking at how they can strengthen things. So that is something I’ll be looking for.

I think honestly, with such a Democratic Congress, I am also concerned that they will overstep here, that they will try and do something that is too sweeping. You had this huge mess in Colorado where they passed this giant AI bill that then was a terrible idea. And so then they had all these committees and follow-up and it was awful.

A lot of what we need right now is focused on these frontier systems and the possibility that we have really, really advanced systems in a short amount of time and having much more transparency around that and much clearer standards for how they manage risk. I would not be that excited about an attempt to do a really comprehensive AI regulatory push that covers AI all across the economy and all different kinds of AI systems that are less advanced.

There are negative signals that are like “nothing’s going to happen,” and there are negative signals like, “oh, maybe too much is going to happen,” but it’ll be interesting to see where they get to.

I suspect we’re going to want to have you back as this Congress starts to get to work and we see some of these ideas.

I would love to.

I’m eager for your take on it. Thank you so much for being on Decoder.

Thanks so much. This was really fun.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}

来源：The Verge：AI · theverge.com