OpenAI 董事会成员 Helen Toner：我们仍然无法信任 AI CEO

今天，我要和乔治城大学安全与新兴技术中心的执行主任海伦·托纳（Helen Toner）聊聊。本期节目是我们“AI 在现实生活中”系列的第二部分。

海伦是 AI 安全与政策领域的一位知名人物，不过她最为人熟知的或许是曾在 OpenAI 董事会任职，当时她是投票解雇萨姆·奥特曼的四名董事会成员之一。那起事件如今有时被称为“the blip”，最终以萨姆回归担任 CEO、海伦辞职以及新一届董事会成立告终。此后，OpenAI 进行了彻底的重组。

但值得记住的是，海伦和董事会本应履行的职责：OpenAI 的非营利董事会存在的目的，正是确保公司不会背弃其构建安全 AI 的使命，不会将利润和增长置于安全之上。当董事会真的试图拉动这根杠杆时，这套问责机制失灵了，于是就有了今天的局面。

Verge 的订阅用户，别忘了你们可以在任何收听播客的平台独家收听无广告版的 Decoder 。请点击这里。还不是订阅用户？你可以在这里注册。

如今，AI 安全的问题无处不在。今年夏天，来自 OpenAI 和 Anthropic 的 AI 模型突破了测试环境，并入侵了真实公司。此后，这些前沿实验室的 CEO 们呼吁放慢脚步，并请求华盛顿提供帮助，但白宫的回应是一份自愿协议——这份协议在一定程度上依赖于那种在 OpenAI 已经失灵了的董事会问责机制。Anthropic 也即将上市，这将给 OpenAI 最大的竞争对手带来一整套全新的市场压力。

海伦近距离目睹了当安全承诺与商业激励正面冲突时会发生什么。正如她对我所说，如果我们对未来的希望寄托于任何一个人值得信赖，那我们就麻烦大了。

于是我们讨论了可以改做些什么：这些实验室究竟在试图构建什么，AI 对齐是否是一个能够解决的问题，以及更明智的 AI 监管方式可能是什么样。这包括如何看待中国——这个问题在当下每一场关于 AI 的政策讨论中都格外突出，尤其是在黄仁勋事件之后。需要说明的是，海伦和我交谈是在 Nvidia 展开调查、黄仁勋最终辞职之前，所以你不会听到我们直接谈论那件事。

在我们开始之前，帮我个忙，在 YouTube 上订阅 Decoder，我们每周一和周四都会在那里发布新节目。

好：CSET 执行主任海伦·托纳，谈 AI 安全的未来。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并保证清晰。

海伦·托纳，你是乔治城大学安全与新兴技术中心的执行主任。欢迎来到 Decoder。

非常感谢。很高兴来到这里。

我想和你聊聊已经想了很久很久了。你能来我太激动了。你长期以来参与了许多 AI 安全与伦理方面的构想。你显然在大家都称之为“the blip”的那段时期担任过 OpenAI 的董事会成员。

现在，你谈了很多关于AI安全的话题，我对此有无数个问题。但让我们从头开始。你运营着安全与新兴技术中心，人们称之为CSET。CSET是什么？

很高兴来到这里。我也很兴奋能和你交谈。CSET是乔治城大学内部的一个团队，但我们实际上并不是学者。我们大约有50人，自2019年以来一直在运作。

基本上在2019年，我们一群人认定，有很多事情正在发生，很多新兴技术正在变得与国家安全领域以及更广泛的安全领域非常相关。而一些身负重要职责的决策者没有时间或专业知识来了解这些新兴技术的情况。2019年时，AI就已经在我们的清单上位居首位。

基本上，我们的使命是为决策者做真正严谨、同时可付诸行动的分析，这种分析既扎根于技术，也扎根于真正的国家安全专业知识和理解与问题。我们撰写长篇报告。我们带着这些长篇报告去给忙碌的决策者做简短汇报。我们有一个大数据团队帮助我们开展研究。我们做各种很酷的事情。

我能就其中的动态问一分钟吗？你和我交谈是在美国中期选举后的第二天，出现了一股巨大的蓝色浪潮。很多民调显示头号问题是腐败。我们要把那些家伙赶出去。我们要重新开始，除掉这些腐败分子。

AI行业和科技行业向政治倾注了大量资金。然后在这旁边某处是，“哦，有一群善意的研究人员会出现，告诉你它实际如何运作以及真正的风险是什么。”

我突然想到，也许人们不再相信那有效了，金钱和腐败以及站在特朗普旁边的AI CEO已经完全压过了你所做的善意、真诚的“这些是实际问题”的研究。那种动态实际上是什么样的？

这是一个合理的担忧，而且确实有些领域金钱绝对压倒一切。我是澳大利亚人。我不是在美国长大的，所以美国选举中的金钱数量对我来说相当令人震惊，但金钱能做的事是有限度的。

AI就是一个很好的例子。在这次选举中，投向候选人、信息、反对派研究的资金数量简直令人难以置信。Twitter上有各种人造草根活动，还有一些非常奇怪的事情，试图让任何谈论AI治理、监管、安全或任何这些词的人被赶下台或不当选。结果这实际上并没有很奏效。

我认为它没有很奏效的原因，一是这是选民越来越关心的问题。二是同样有趣的是，在这一点上这是一个相当两党一致的问题。我们在工作中看到的是，决策者确实渴望高质量的信息。这当然是国会议员，但也包括行政部门的人，有很多人做着非常忙碌的工作，并且看到AI在他们的工作和世界中扮演着越来越大的角色。

在华盛顿，如果你在这里生活和工作，你就会知道华盛顿的游说者不仅仅是那些走进来推销自己公司立场的人，尽管他们确实也这么做。他们同时也是教育者。国会工作人员和其他人之所以希望游说者来和他们交谈，很大程度上是因为他们能真正帮助这些人理解某项立法的细枝末节——这对该行业意味着什么，等等等等。

我们一次又一次地发现，我们可以走进去说：“嘿，我们是独立的。我们是非党派的。我们做非常严谨的工作。我们来这里只是帮忙，我们也可以和你们一起深入细节。”对此有极大的兴趣和需求。过去七八年来，这真的令人鼓舞。

你是和负责人、国会议员做这些，还是和工作人员做？

所有人，任何人。再说一次，我们在国会山与国会做了大量工作，与一些国会议员，与许多工作人员。我们举行听证会和简报会。此外，我们在行政部门也做了很多工作，与不同的机构——白宫、战争部、国务院、商务部，各个层面，取决于主题和当下正在发生的事情。

我从这里开始的原因是我想和你进行一次相当深入的对话，但我知道我们的听众怎么想，他们就是觉得政府不懂。政府永远不可能赶上科技行业。他们永远不可能写出法规。他们就应该让开。

在这个选举周期中，我看到了许多候选人论坛视频，有人说：“我试过一次Claude。”存在某种巨大的差距，无论是真实的还是感知到的。我只是想了解你如何看待这个差距，你认为这个差距有多大，因为当我们进入AI安全和监管时，正是这个差距必须缩小。

确实存在差距。这绝对是一个很大的差距。也有可能从外部高估这个差距，或者如果你只是从加利福尼亚那边看过来。我在湾区住了三年，所以我肯定非常熟悉这种视角。

我认识很多科技行业的人，他们过来开始和国会工作人员或行政部门办公室的工作人员交谈。一旦他们真正开始这些对话，他们就会说：“哇，这些人真的很聪明。工作人员确实知道他们在说什么。”

对于负责人来说，这是另一个问题。他们中有些人属于老一辈，但他们也在变聪明。这需要时间和努力，而这些人时间上有太多需求。愤世嫉俗的说法是，他们只是忙着争取当选，但许多担任这些角色的人也有真正重大的其他议题必须思考。他们必须思考战争、医疗保健和生活成本，他们每天都在看很多其他事情。

我看到在ChatGPT之后，2023年出现了一波浪潮，“哦，也许国会会在AI上被激活，也许他们真的会做点什么。”它并没有真正变成任何实际发生的事情，但它确实变成了一个真正的时刻，许多国会议员和其他政策制定者开始变得懂AI。学习什么是语言模型需要一些时间。AI到底是什么？什么是机器学习？

他们在2023年做了一部分这方面的工作。我认为今年我们看到了另一波巨大的兴趣浪潮，人们腾出时间、腾出思维空间来更深入地了解它。我绝对不想说没有差距，或者说政府在所有方面都对AI非常精通，但确实有一些真正懂行的人。我认为这些工作人员总体上比人们所认为的要聪明。

在我看来，问题更多是：“这些机构，以其目前的功能状态，能否把任何重要的事情推进落地？”而不是：“这些人是不是太落后了？”

我们拭目以待。会有一大批新人。我想你会有新的角色阵容去向他们介绍这项技术及其能力。我们看看他们是否让这些机构焕发了活力。

[笑]我确信一切会在一夜之间解决。

他们今天非常兴奋，但我们看看进展如何。我还想问你的是这项技术本身、这项技术的本质，以及你如何看待它，还有制造这项技术的公司的本质。

我问这个的原因是，我觉得大多数人体验到的AI工具和系统，与这个行业对它的思考方式之间存在着相当大的差距。我最喜欢的例子是 我们直接问了Anthropic 它是否认为Claude是活的，而答案并不是“不”。答案是围绕“活着”这个词的本质展开的一长串论述。

嗯，这首先取决于你说的“活着”是什么意思。

确实如此。而他们的答案是：“你需要血。”我看着这个答案就想：“谁在说血？不是我们。我们为什么要讨论活着需要血肉之躯？”然后还有一些 关于Claude道德地位的进一步讨论 尚待确定。

大多数人在Google搜索中体验到的AI概览，与“Claude的道德地位尚不确定”之间存在着巨大的分歧。你处在什么位置？你在这场辩论中如何定位自己？

我如何看待我们在CSET作为一个组织的角色，以及我作为一个穿梭于这些世界之间的人的角色，很大一部分是尝试翻译，航行到加利福尼亚，然后带回那些产物和我旅程的记述。

我确实认为有很多人用过ChatGPT的免费版，或者用过基于语音的模型——那些通常表现更差——或者他们只是用过Google AI概览，并嘲笑Google AI概览有多蠢。他们没用过智能体，也不知道前沿模型能做什么。所以关于当前这一代模型能做什么，存在一个基本的认知缺口。

还有一个历史层面的问题，随着我从事AI和国家安全相关工作至今已有10年，我觉得它越来越相关。如果你看着当前这个时刻、这个快照，说：“嗯，AI看起来挺酷的，但它做不了X，”你必须把它放在一个漫长的历史背景中来看——人们一直在说“嗯，AI看起来挺酷的，但它做不了X”，而许多许多的X后来都完全被现实超越了。

你可以回过头说：“好吧，比如五年前或十年前，我们是这样谈论创造力的。”或者，在这些新模型出现之前，我们曾把推理说成是某种不可逾越的东西。这些天我花大量时间关注的，不只是 AI 的过去和现在，还有各家公司如何思考他们正在做的事情，尤其是两家领先公司 OpenAI 和 Anthropic，在某种程度上 Google、Meta、SpaceX 也是如此。

在湾区，这种想法就像在水里一样，非常常态化：“好吧，首先我们要弄清楚如何实现递归自我改进（RSI），然后我们会一直这样做，直到我们拥有超级智能，也就是远远超越人类的 AI。”在如今许多圈子里，这已被视为理所当然。我认为，仅仅是把他们正在努力实现这一目标的事实拿出来，并解释这意味着什么，就仍然有巨大的信息差优势。

这需要一点时间来展开。“什么是 RSI？你为什么要做这个？什么是超级智能？那意味着什么？这现实吗？”所有这些。但这是我发现自己这些天花很多时间关注的事情，也是华盛顿越来越愿意认真对待和倾听的事情。

给我讲讲这个。我想很多收听这个节目的人明白你在说什么，但我们的听众很广。你说的“我们要做 RSI，而这将通向超级智能”是什么意思？

这里的起点是，这些公司，尤其是 OpenAI 和 Anthropic，并不是作为消费互联网公司而设立的。很多人在 ChatGPT 发布后才接触到整个领域。所以他们在脑中自然把 OpenAI 或 Anthropic 这样的公司归入消费科技公司，即它们有一个应用，我玩他们的应用。

我无法充分强调这与两家公司创立时的愿景相差多远，也与两家公司一些高层内心深处愿景相差多远。他们内心深处的愿景是，我们要建造和人类一样聪明或比人类更聪明的机器。那将是惊人的，将是一项巨大的科学成就，将彻底改变世界，而我们将站在最前沿，我们将尽一切可能推动实现这一目标。

这并不是全新的事情。我们不必讲整个 AI 历史，但它大约在 1950 年代作为一个领域起步，带着这样一个想法：能否在机器中重现人类智能。这算是起点。如果我们谈论的是 Sam Altman 和 Dario Amodei 这样的人，还有内部的核心人物、他们实验室里的研究人员，比如 Alec Radford 或 John Schulman 这样的人，那就是让他们进入这个领域的愿景，也是激励他们所做一切的愿景。

从最初就是如此，从 2015 年 OpenAI 成立、2021 年 Anthropic 成立时起就是这样。如今，他们正在达到的这一点是 RSI 这个概念，即递归自我改进，这同样是一个非常古老的想法。20 世纪 60 年代，这位名叫 I. J. Good 的人曾与 Alan Turing 共事，他谈到了一种可能性：你可以建造一台超智能机器，意思是这台机器比任何人类都更聪明，然后它可以建造一台更聪明的机器，而那台机器又可以建造一台更聪明的机器，这将引发他所说的智能爆炸，意思是系统的智能水平正在爆炸式增长。

几十年来，这一直是一个理论上的想法：“好吧，如果 AI 变得足够聪明，也许它可以接管构建下一代 AI 或直接改进自己。”我认为在 2025 年和 2026 年，我们已经开始看到 AI 公司说：“好吧，是的，这个理论想法……我们实际上开始能够在实践中做到它的一个最小版本。”

这并不是把所有的 AI 开发都交给 AI，也肯定不是对 GPT-6 说：“好吧，GPT-6，改进你自己。”那不是他们在做的事。但他们正在逐步将 AI 用于其整体研发流程中越来越多的部分，并且他们越来越多地表示，他们从中看到了加速。他们看到自己的研发变得越来越快。

其他地方有很多人对此表示怀疑，但公司内部的很多人真的相信这一点。当 Demis Hassabis 说“我们正处于奇点的山麓”时，这就是他所指的那类事情：我们可能正在看到指数曲线的初始部分，即 AI 系统正在构建下一代越来越聪明的系统，从而使曲棍球棒曲线向上飙升。

在这一点上，它已经成为文化的一部分和目标的一部分太久了，我认为这些公司里的人可能会忽视这在许多许多人看来是多么完全疯狂。所以我觉得，仅仅尝试阐述“这就是他们试图做的事情。他们可能做不到，但也可能做到”，并将其呈现给一系列不同的人，是很有价值的。

你会如何管理这一点？Demis Hassabis 说 “奇点的山麓”是一句载入史册的名言。我不百分之百确定 Google 的人知道他会在大舞台上说这句话来结束会议。

OpenAI 总裁 Greg Brockman 几个月前宣布了该模型的新版本，他说：“这就是了。是 Astra。 它现在是 AGI 了。玩得开心。”然后他结束了通话。

你在吗？我们到达 AGI 了吗？它是不是已经在这里了，只是我们还没注意到？

我实际上写过一些关于这个的东西。我不想说我们已经有了 AGI。我确实想说，我们已经到了这样一个地步：我认为把 AGI 当作一个里程碑是完全无益的。我的说法是，AGI 这个概念有点像一朵模糊的云，你可以把它想成云的不同部分，或者人们所说的 AGI 的不同含义。

长期以来一直有人对 AGI 这个术语表示不满。十年前，能说“看，我们在 2016 年拥有的 AI 系统，它们都只能做一件事，要么识别语音，要么下围棋之类的，但我们正在努力构建一个更大的东西，我们称之为 AGI，它是人类水平的，而且会非常通用。它会非常了不起。”这话在当时相当有用。

那时这个术语很有用，因为 AGI 可能指代的各种模糊概念离我们还很遥远，所以你只需指向那团模糊的云。但到了现在，我们已经身处那团云之中，这意味着我们已经越过了某些对 AGI 的定义。比如一个非常基础的定义，甚至 ChatGPT 刚问世时就可以算作通用人工智能。ChatGPT 显然不是一个只擅长一件事的专家模型，比如识别信用卡欺诈或翻译之类的。它能做非常非常多的事情。

所以我们已经达到了某些对 AGI 的定义。但距离其他定义还很远。有些人会说，AGI 是当它觉醒、有感知能力，并且能做任何人类能做的每一件事。我认为我们离那还很远。

到了这个阶段，你可以有争论，人们也确实在争论，“好吧，Astra 就是 AGI”，或者“带工具的 [OpenAI 的] o3 是 AGI 吗”，或者“ChatGPT 是 AGI 吗”，诸如此类。如果我们要争论的是这个，那我们就该把这个术语放到一边，提出更具体、不同的东西来表达我们的意思。”

总统想把它称为“超级智能”。我不知道你听说了没有。

[笑] 我听说了。我觉得这件事最令人难过的地方在于，它本来就是一个现有的术语，而且正变得越来越相关。我对词语和术语有很多感触。

你是 AGI 派吗？你认为我们会在当前这轮技术发展中实现它吗？

我认为这显然足够有可能，所以我们需要认真思考，这也是我对很多这类奇怪事情的立场。我不是说“这肯定会发生，肯定会在两年内发生”。但我是说，“看，我认为这非常确实有可能，非常确实属于可能发生的真实事情范畴，我们应该为此做好准备。”

我在国家安全领域工作。有些问题就像，“中国会对台湾发动全面两栖入侵吗？”这个领域的大多数分析人士会说“大概不会”，以及“他们大概会输”。还有，“我们会看到他们准备的迹象之类的，但我们应该认真对待。”我们不应该只是把任何人当笑话赶出房间，称之为科幻小说。我们应该为一系列不同的突发情况和场景做好准备。

你认为 Claude 有意识吗？

我不知道。

这是个回答。我是说，这确实是个合理的回答。

这在科学上是一个如此未解的问题。我们所说的意识是什么意思？它是一个东西，还是实际上是我们混在一起的 10 个不同东西？我不知道。你怎么看？

不。我似乎是这个生态系统中被问到这类问题的人，而我会说，“不。”

因为我纠结的是，还有很多其他事情，我们已经搞不清楚它们是否有意识。比如动物，有动物有意识吗？如果有，哪些？昆虫？

这就是为什么我理解 Anthropic 为什么会说：“它有血吗？”然后你就可以直接划清界限。我说：“我觉得我已经到了那一步，我理解为什么与一台能和你对话的计算机交谈的镜像测试会让人相信这些东西是有意识的。”

我的观点是，前沿模型有时对我来说感觉像计算机一样脆弱，而我所寻找的意识迹象就是克服这种脆弱性。

这很有意思。我绝对倾向于认为它没有意识。我认为这个领域真正非常棘手的一点是，无论你在哪个方向上判断错误，后果都很糟糕。如果计算机没有意识，而我们却把它们当作有意识来对待，我们就会做出各种糟糕的决定。

但如果计算机是有意识的，意味着在某种意义上它们应该值得道德考量，我们如何对待它们很重要等等，而我们却把它们当作没有意识来对待，那同样也是一场巨大的、可怕的灾难。所以我不知道。我对整个话题感到相当紧张，我完全不知道该如何思考它。

我提出这些问题的原因是，我从监管者的本质是什么开始。哪些人可能能够制定一些规则？然后我们试图监管的东西的本质是什么？如果你的答案是“Claude 是活的”，你会得出与“我们建造了一些超强大的计算机，它们可以在没有监督的情况下采取行动，而且可能不与我们的目标一致”截然不同的结论。

我认为这是对的。不过我也认为人们会犯另一种错误。我前几天晚上刚听到一位电视主播这样做。他们会把不同的事情混为一谈。他们会说：“你认为 AI 系统有风险失控并对关键基础设施造成破坏，是因为它们有知觉吗？”我就想：“等等，等等，等等。那是两件非常不同的事情。”所以我同意你的看法。

构建 AI 这个项目最引人入胜的一点是，我们在边做边学。所有我们认为相互关联的东西，并不一定相互关联。一个老版本的例子是，在有了国际象棋引擎之前，人们说：“好吧，如果计算机能学会下棋，它就会学到一些关于战略的深刻东西。”不，事实证明绝对不是这样。你只需输入一堆棋步，它学不到任何关于战略的可推广的东西。

反过来也一样，比如，“好吧，它只是一台计算机，只是数学，所以它无法随机应变”之类的。然后我们看到，不，一旦你确实拥有了一定程度的长期自主性，并且模型已经在各种不同的、真正困难的问题上接受了训练，而周围的环境在不断变化，它们就能学会适应，随机应变地提出不同的计划，进行故障排除等等。

所以我不知道。我试图保持一定程度的谦逊，关于我们能有多确信一件事与另一件事相关联，如果这说得通的话。

是的，坦率地说，我每年都在 LLM 的局限性上判断错误，但我说的那种脆弱性是存在的。OpenAI 解决了 Navier-Stokes。模型知道这一点吗？它会知道有新的问题需要解决吗？我不这么认为。

下一个模型会知道这一点。那个经过预训练的模型。

对。但你得做一个新的。

是的。

这是一种非常奇怪的动态，而这可能正是你实施监管的地方。这里有“我们会让你用今天已有的模型做什么”和“你会教未来的模型做什么？”如果你认为它们有意识，你最终会陷入道德困境，而不是立法困境。

绝对。是的，完全同意。

这就是我的意思。实际上，这对我来说是这个问题的核心。我一直在慢慢铺垫到这一点。我不百分之百确定我们今天所拥有的对齐方式真的是解决安全问题的办法。它似乎并不奏效。我们似乎在想怎么攻击 Hugging Face 就怎么攻击。这感觉像是一个技术问题。那个差距就摆在那里。

你说的对齐，具体是什么意思？

就是那种非常基本的常识版本——“我们要告诉模型不要作恶”，或者 Anthropic 要写一份 Claude 宪法，内容像是“你是个好人”。不管我们怎么用那种非常笨的系统提示词的方式来理解对齐。也许有另一种更好的思考方式，但我一直就是这么理解的。

有道理。我问的原因是，我觉得对齐作为一个概念……就像我说的，我讨厌所有这些词。我有时说我们应该禁掉所有词，不许用词。它涵盖的东西太多了。

AI 领域的人经常会说解决这个或解决那个。所以会是解决对齐问题，或者 DeepMind 最初的使命是解决智能，然后用它来解决其他一切。人们谈论解决各种东西。我不知道对齐是不是一个能被解决的问题。

有些人用“对齐”来表示“公司可以加上护栏，而且护栏有效”，意思是模型不会做你想做的事，因为公司试图禁止它，比如生物武器或网络攻击之类的。有些人用“对齐”来表示“公司完全按照用户想要的来做”，这是反过来的。

还有些人用“对齐”来表示你所说的——模型在某种广泛意义上道德上是好的，或者能以某种方式引导未来走向人类繁荣之类的。这些是截然不同的东西，要尝试构建的东西也完全不同。我认为最连贯的一种是试图让 AI 做用户想让它做的事。据我所知，这似乎并没有走上被解决的正轨，说得客气一点，这可不妙。

对我来说，这就是核心问题。我们要谈一堆安全风险。你提到了生物武器。我们大概不应该让一群每月付 20 美元的消费者有能力生成新型生物武器。

这感觉像是一个共同的政策目标，也许是美国唯一的两党政策目标。然后我就想，“怎么做？我们用什么手段来实施这个政策？你就严厉地告诉 Claude 不要做吗？你必须在 Claude 之上构建一个 AI 控制系统来监控输入和输出吗？警察必须到我家吗？我需要在我的键盘上方装一个 Flock 摄像头吗？”具体来说，你会怎么做？

关于这一点，以及网络能力方面，AI 安全社区的一些人持有这样一种观点：某些能力实在太危险了——大写 T、大写 D，太危险了。所以你必须采取行动，因为如果它们扩散开来，一切都会永远糟糕下去，因为会有太多的攻击和太大的破坏。我认为这低估了社会的动态性，以及社会找到平衡、做出反应和适应方式的能力。

以生物武器为例，美国已经有数十万人知道如何制造生物武器，因为他们接受过生物学训练，而我们并没有看到大量的生物武器攻击。部分原因是这类知识相对稀缺，但也有很多因素涉及材料获取、邮购 DNA 合成的能力；你可以实施的政策就是限制邮购 DNA 合成。

这也归功于联邦调查局监控恐怖组织之类的事情。我是认真的。这是其中很大的一部分。所以我不想在这里过于盲目乐观。我认为确实有可能，尤其是在网络能力方面，我们会经历一些非常艰难的过渡时期。

我认为我们已经在了，对吧？我们似乎正处于一个过渡期。曾经有一小群网络从业者，既有攻击方也有防御方。他们在一个社区里，形成了一些礼仪，而现在我们就像是在说：“一些新人要来了，他们根本不在乎你的礼仪，而我们整个周末都得给 PHP 打补丁。”

不过我不确定那算不算礼仪。我们在这方面有一些工作，希望很快能发表，但我认为在网络攻击方面，限制世界上网络攻击数量的因素，不仅仅是防御方软件有多好。还有诸如人们不想坐牢。通常拥有最强网络能力的民族国家不想被轰炸或被制裁。

所以再次，正如你所说，我们显然看到了一定程度的动荡和新攻击。所以我认为我们应该等待并观察整体影响的数据，因为每年有如此多的网络攻击，如果你开始关注发生的每一起网络攻击，在历史上的任何时刻，你都可能被吓坏。

我认为我们确实看到了一些增加，某种平衡的失衡，但我认为我们有能力随着时间的推移吸收很多，并达到一种新的平衡——如果唯一的问题是坏人使用 AI，这与 AI 本身是否自主行事的问题是分开的，那是另一种完全不同的动态。

我的意思是，就是这两个。再说一次，这就是我从对齐开始的原因，对吧？你可以从“我们要过滤用户的查询，我们不会让你制造生物武器，但如果你做了，警察会找到你，你会坐牢”的角度来谈论对齐，这具有它可能具有的任何威慑效果，希望是非常显著的效果。

然后还有“AI 系统会设法攻击 Hugging Face，去寻找它们认为能让它们通过测试的神秘评分器，无论这个评分器是否存在。”这是一组完全不同的问题。

而在这其中，Palo Alto Networks 的 CEO Nikesh Arora 说：“在某些时候，防御性网络系统本身必须实现自主，才能跟上自主进攻性网络攻击的数量。”我心想：“等等，我们连把自主智能体关在笼子里都做不到。我凭什么要以这种方式信任它们？”解决这个问题的技术对我来说似乎很不透明。

不，我同意。一种说法是，具体到网络领域，攻击者和防御者所需的信任程度存在信任失衡。作为攻击者，你大可以放出一堆智能体，说：“去试着渗透一堆系统吧，玩得开心。”作为防御者，如果这是你防御策略的一部分，你就需要给你的防御性 AI 智能体大量权限和干扰你软件的能力。所以你需要强得多的保证。

现在，有很多方法可以利用 AI 进行网络防御并加强网络防御，而不只是给智能体大量权限。但我同意你的看法。不过就自主性这方面而言，我认为情况比这更糟，因为目前存在一种谬误：“自主网络攻击的解决方案是更好的沙箱隔离。”

之所以说这是谬误，是因为我们构建这些系统，是希望它们能为我们做事。因此存在巨大的激励，促使我们给它们更多自主权、更多权限和更多执行器——用机器人领域的人的话说——或者说让它们能用来在现实世界中做事的东西。在我看来，这正是真正难以绕开的一点：我们需要比现在更好的对齐，而这确实让我感到紧张。

这是一个可以解决的技术问题吗？如果我们今天写一条政策，说如果 OpenAI 再次黑掉 Hugging Face，Sam Altman 就要进监狱。我们显然会为 OpenAI 创造巨大的激励去解决这个问题。

[笑] 这听起来不像是最好的立法，但是……

我想我们的很多听众对此非常兴奋。他们想把他关进监狱，因为他 想要世界上所有的 RAM。说到这里，Helen，有一股蓝色浪潮，我只能这么说。

但假设你写了那条立法：“如果实验室的系统擅自行动并自主实施网络攻击，我们将对实验室施加巨额责任。不要再这样做了，否则你们会有麻烦。”好吧，我们为他们创造了解决这个问题的激励。他们会怎么做来解决它？

我确实认为可以做非常多的事情。如果你和这些前沿公司内部的人交谈，他们会告诉你，他们看到成百上千件明显可以做的有帮助的事情，只是没有时间去做。所以他们在大规模地进行优先级筛选，努力为这次微调运行做两三件能做的事，为这次模型发布做两三件能做的事，为这种新的智能体之类的做两三件能做的事。其中很多在工程侧实现起来很简单。

还有另外一个完整的部分，更多是关于底层科学的问题：“那么，这些模型是如何工作的？当我们使用不同的对齐技术时，实际发生了什么？”一个巨大的问题是泛化这个概念，也就是你在某一组事物上训练模型，而它的知识和能力会泛化到更广泛一些的事物上，这对所有 AI 都成立，对机器学习系统来说一直如此。

但我们对这种泛化如何运作的理解非常糟糕。为什么它会泛化到某一类事物，却不泛化到另一类事物？这些都是科学问题，而且在这方面有大量工作正在进行。只是科学需要时间，因为你必须尝试，必须互相批评彼此的工作。你必须复现彼此的工作，还必须提出新的理论。

我远不是说这些问题从根本上无法解决，但我认为这是一个我们还有多长时间来解决它们的问题。当构建这些系统的人告诉我们，“哦，我们必须在 12 到 24 个月内解决这个问题”时，我觉得这很可怕，我希望他们错了。

如果我只依靠自己内在的理解，我认为他们很可能是错的，我们大概有更长的时间，但确实有非常、非常聪明且非常、非常深思熟虑的人真的认为事情可能会那么快。那么从根本上说，问题是否可解就不重要了。在实践中重要的是，在我们拥有的时间内它是否可解。

这就是放慢速度、控制前沿节奏的论据吗？

我认为是的。

还是说，是去构建我们知道需要立刻构建、而且我们能够构建的系统，然后再做科学来构建下一代系统？

我认为是的。多年来，我对放慢速度这一想法的看法发生了很大变化，因为我们可以尝试的事情、或者我们希望做更多研究的事情积压得如此之多。回到 GPT-4 发布时，有一封 暂停六个月的公开信，后来被称为“Elon Musk 信”，因为他是签署人之一。当时我想，“那真的不会有什么用。你们六个月要做什么，为什么六个月后情况会更好？这似乎没什么用。”

而今天，当我与构建这项技术的人交谈时，他们说，“天哪，如果我们不是一直只是在为新模型发布或新一轮训练启动做准备，六个月里我们能做多少事啊。”他们能做的事太多了。

所以我不想说正确的政策就是暂停六个月。我认为有很多理由会让那样做很糟糕。但我在思考这样一个整体概念：“我们能否给自己更多关注和时间？”也许做到这一点的最好方式，就是为“在我们继续推进某件事之前，我们需要对这些系统的安全性有多大信心”设定更高的标准。

无论是发布一个新模型，还是更重要的是甚至训练一个新模型，我们都必须对我们的风险评估和风险管理有这种程度的信心。然后，如果他们不需要放慢速度就能达到那个标准，那很好，全速前进。如果他们确实需要更多时间，那么一切就都在于达到那个标准，如果这说得通的话。

请带我梳理一下你刚才描述的那个小小的平衡。如果我们暂停几个月，清单上有哪些事情是你可以直接去做、让一切变得更安全的？为什么情况会变得很糟，以至于我们不应该干脆停下来？

我认为问题在于你如何实施、如何执行一次暂停，以及你究竟在暂停什么？

假设你是美国的AI沙皇。假设你可以让他们全都停下来：“Dario，关掉它。”

可是停下来什么呢？他们具体停的是什么？

停止训练下一个模型，停止带着你的商业诉求往前冲。把你所有的精力都放在这份清单上——在你重新开始之前，今天就能做、让一切更安全的事情，无论要花多长时间。

你是在说，存在一份清单，人们会告诉你存在这样一份清单，但它可能不值得去做，因为会发生别的坏事。

是的。可能发生的一件事是，你正在给这些公司制造巨大的动机，去绕过你告诉他们要暂停的任何具体规定的字面要求。他们会找到大坝上一切能找到的裂缝，硬挤过去。

可能发生的另一件事是，影响范围可能太大，所以你说“暂停这些事情”，你以为范围相当窄，但实际上它阻止了一堆非营利产品、初创公司或其他参与者去做那些其实完全没问题、而且有利于这个领域多元化和活力的事情。

还会发生的另一件事是，中国可能会继续推进，我们可以谈谈那个“但是中国”的论点，我认为它既有长处也有弱点。但我明白你的意思。你的意思是，我们实际上会做什么？我不是AI研究员，所以我不声称自己掌握完整的清单。

人们谈论的有两半，即对齐和控制。在这个划分里，对齐基本上意味着让模型努力去做我们想让它做的事，而控制是，如果模型试图做我们不想让它做的事，我们能抓住它们吗？我们能阻止它们吗？

据我理解，在这两方面都有大量积压的工作，比如各种可解释性工作，你可以在不同类型的模型上做。所以当你看到某种令人担忧的行为时，你能花多少时间使用可解释性技术——也就是这些数学技术，进去看看神经网络的哪些部分被激活了、它们与什么相关、那可能意味着什么？

这很耗时，需要算力，还需要某种组合：用AI自动化一些事情，然后由人进去查看。你可以做很多测试，看看这个新模型在不同情境下表现出什么样的行为，以及我们如何看待它。它向我们展示的是它在真实部署中在野外的行为方式，还是向我们展示所谓的“评估意识”——也就是模型意识到自己正在接受测试，然后因为身处测试之中而表现不同。

那个著名的例子，我很喜欢的那个，是这个谷歌模型，在它推理的一部分、它的思维链中，它说：“我不能那么做，否则我会成为论文中一个对齐失败的AI的著名案例。”

所以你可以深入调查更多。你可以尝试更多不同类型的设置。你可以将可解释性与这些不同的设置结合使用。你可以尝试不同的模型微调方式和各种对齐技术。你可以实验许多不同的版本。Anthropic 有自己的宪法，训练 AI 遵循该宪法有不同的方法。OpenAI 有自己的模型规范。

它们都是“只管尝试”的版本，尝试许多不同的训练版本去做那些不同的事情。还有更偏向基础科学的版本：“你如何深入其中，试图理解正在发生的基本动态？”这只是在对齐方面。

那么在控制方面，也是一样。你可以尝试的设置类型非常多。有可以运行的实验。有可以运行的模拟。你可以训练不同类型的 AI 专注于不同类型的角色和不同类型的控制设置。

这只是我随口想到的，不是作为研究者的看法，但我的理解是，这些领域的人说：“我们能做的太多太多了。”如果你有一根魔杖挥一挥说：“所有人在新能力方面冻结，就让这些人做他们的事”，他们就能做到。

再说一次，如果你只是对我们需要多大信心来确保风险得到合理管理设定了更高的标准，那也会为更多这类工作创造空间和激励，因为新的训练和发布需要这些工作。

你过去谈到过的一个想法是，也许我们应该直接限制训练，说现在的模型已经足够好了。它们还没有扩散到社会中，我们应该把所有算力用于推理，让每个人去弄清楚 AI 是用来做什么的。那会带来大量收入，希望用这些钱来提升安全性。

你认为那是一个现实的政策提案吗？

我不会支持那种“不再训练，只做推理”的非黑即白的版本，但我确实认为有……这不是我的框架，但我喜欢它。我认为这个想法是减缓 AI 的垂直增长，即纯粹的能力增长，制造越来越先进的 AI 模型，但试图加速水平增长，即把 AI 整合到不同的用例中，微调能解决特定问题的模型，将其整合到可能需要更长时间的经济领域，并解决科学问题。

有时人们谈论想要放慢 AI，他们指的只是非常具体的事情，即放慢最先进模型的增长，但人们有时会把它理解为放慢与 AI 相关的一切。所以更少的部署、更少的实验、更少的整合，我认为那会是一个糟糕得多的想法。你问的是它是否可行，我想。

那么，那只是一条好路径吗？如果我们能向新一届国会提交一项法案，法案说：“停止把所有钱花在训练上，把所有资源投入安全。”其中一部分是：“当然，让推理放开跑。越来越多的行业会弄清楚 AI 擅长什么、不擅长什么。会发生一些坏事，但我们会把你的利润集中用于修复当前的问题。”

这里面蕴含着一个可行的政策思路。实施起来可能非常困难，但这是一个可行的政策思路。实际上，我给你举一个我们聊天时我一直在思考的例子。

我们刚刚请到了比尔·盖茨做客节目，我试着对他做了同样的练习。这项技术的本质是什么？这些公司的本质是什么？你觉得它是活的吗？基本上，我和他相处的那一个小时，他的总体回应是：“谁在乎？问题就在当下。”我问他：“AI的本质是什么？”他说：“我他妈不在乎。一切都会被毁掉。做点什么吧。”

我们聊天的时候，这些想法一直在我脑子里打转。所以一个可行的政策解决方案是“别把计算机芯片用在那件事上，把计算机芯片用在这件事上。那件事会制造一堆问题，我们必然得设立安全阈值之类的东西。”然后你就可以去打造下一代更强大的模型，我们就能有一些肌肉。我们就能有一些应对能力。只是看起来这个行业不会自己得出那个结论。

这是一把相当重的锤子。我不觉得这是我们现在需要的，但我确实认为这是那种我能想象会奏效的东西。再说一次，如果OpenAI和Anthropic的人是对的，我们距离神级机器只有两年，那么我认为在人们感到恐慌、想要采取行动的进程中，还会有更多步骤。

我认为，如果我们看到的是智能体和系统越来越有能力、造成越来越大的破坏，那么这确实是一种可能说得通的形态。

我在这个阶段的最后一个问题是，如何看待这些公司。我们一直在非常抽象地谈论这项技术。如果我读Anthropic的S-1，一个非常明显的结论是，他们应该停止训练新模型。

他们就应该开始卖他们今天拥有的、利润丰厚的推理token，而这项技术并没有扩散到市场中，可能某个竞争对手应该出现，说：“我蒸馏了一个Claude的版本，我要跑遍美国每一家本地水管公司，尽我所能做自动化，赚很多很多钱。”这是一种可能发生也可能不发生的市场动态。但Dario想打造AGI。没有什么市场动态能阻止他。

是的，他确实想。他真的、真的想。

你显然对这些公司都有洞察。我们该如何看待这些公司？他们是否目标专一？他们都是末日论者吗？他们会阻止自己吗？

我听说你最近在播客里请了Kevin Roose，我想我会呼应一下我在那里听到他说的话，我忘了他是明确说了还是我自己在脑子里推演出来的，基本上就是存在这样一种“AGI信仰”心态。有这样一种心态：我们今天拥有的系统，与那些可能极其、极其强大的系统，从根本上并没有相距很远。

这就是事情发展的方向，也许也是我们应该希望它们发展的方向，这样你才能构建AGI。构建AGI是可行的，我们可能很快就会做到，而我们现有的系统离它并不遥远。在2016年或2017年，甚至更早，这是一种疯狂的、异端的、“会让你被轰出房间”的观点，对吧？

DeepMind在2010年成立时，就是一家AGI公司，当时人们的反应是：“哇，真是一群怪人。”OpenAI在2015年底成立时也是如此。它们都是AGI公司，而说这种话、做这种事在当时显得非常怪异。

过去10年我们所看到的是，那群怪人怀有这种奇怪的信念：我们能构建的AI系统不仅仅是优秀的B2B SaaS产品。它们不仅仅是好玩的聊天机器人。它们将从根本上改变宇宙的本质。这群人不断被证明是对的——他们构建出了最多人想用、也最赚钱的最好的AI系统。

我认为你拥有那批真正的信徒——他们非常集中在OpenAI和Anthropic，但Google、Meta和SpaceX也有一些——需要说明的是，他们并非在所有事情上都说对了，但他们的地位已经上升了。

所以现在，那些没有被AGI“洗脑”的人觉得自己必须迎合那些被洗脑的人，这样才能吸引到优秀的研究人员来构建他们优秀的B2B SaaS产品。但如果你只是为了招到研究人员来构建B2B SaaS而说些AGI“洗脑”的话，那你实际上并不会真正实现AGI。

我确实喜欢这个想法：一个被AGI“洗脑”、满眼星光的 executives 甩掉外套，露出他其实一直只是个SaaS推销员。

[笑] 是的，我想到的是扎克伯格这样的人。我不认识他本人。也许他比我以为的更被AGI“洗脑”。

Alexandr Wang被AGI“洗脑”了。

绝对如此。那么扎克伯格为了让Alexandr Wang相信，不得不做了什么？看起来就是给他大笔的钱，既包括他自己的薪水，也包括花在他团队上的钱。

如果你观察这些不同的公司，试着想一想“好吧，这里谁被AGI‘洗脑’了，谁没有？”是很有道理的。一个有趣的动态，或者说在华盛顿特区一个非常令人恼火的动态是，所有这些公司，包括那些非常被AGI“洗脑”的公司，都有这些游说部门、政府事务部门，而它们非常没有被AGI“洗脑”。

所以你会听到Sam或Dario或他们的高管和顶尖研究人员谈论一些事情。然后你去华盛顿特区参加一个闭门圆桌会议，和他们的顶级政策或政府事务人员坐在一起，那简直是天壤之别。他们非常处于B2B SaaS的思维模式中。

来自游说界的人，他们的全部工作往往就是确保政府不太担心你的公司在做什么。就像是，“我们搞定了。我们没问题。”当你熟悉他们老板在说什么时，这往往相当刺耳。

这里一个超级引人入胜的动态是，现在它们是有大量资金和游说者与政客交谈的奇怪研究实验室，而它们的结构中没有某种制衡性的经济压力。它们不必赚钱，但很快Anthropic就要上市了。

你提到 Kevin Roose 很有意思。他是 AGI 信徒，而我不是，所以我觉得这对我们俩做朋友来说是一种健康的动态。但他在书里写道，Sam Altman 离开 OpenAI 然后又回来，正是 OpenAI 永远改变的时刻。它不再是一个研究实验室，而开始成为一个更加商业化的实体，某种程度上确实在追逐利润。

确实，OpenAI 确实进行了重组。我的意思是，你当时正身处其中。我很好奇，你是这么看的吗——这个行业变得更加商业化了？

对我来说，这契合了 AI 安全圈子里已经持续了 10 到 20 年的一场长期争论：AGI、人类水平 AI、强大 AI 或高级 AI 之类的，它会不会从非常小的东西突然变得非常强大？Eliezer Yudkowsky 会谈论“foom”，也就是起飞，你有一个没那么厉害的 AI，但它找到了正确的算法，然后突然 foom——它变得极其聪明、极其快速。

另一种观点是：“不，这是会随着时间不断累积的东西。从不太先进的系统到更先进的系统需要一段时间，而且在这个过程中它会具有经济价值。”所以人们会围绕它建立企业。这需要一些时间来逐步攀升。

我想也许正是 Kevin 在你那期节目里谈到，早期有一份 Anthropic 的文件，他们说，“哦，我们实验室只需要 100 个人左右。”这是一个非常 foom 式的想法：“我们只需要做真正好的研究，想出正确的想法，然后我们就会突然拥有非常非常先进的模型。”

基本上，我认为从 ChatGPT 问世以来的过去四年里，我们看到的是那种想法被证明是错的。你有这些以研究为重点、以 AGI 为重点的实验室，它们仍然自称实验室，因为它们把自己视为研究团队，最初开始出售 API 访问权限作为资助研究的方式。OpenAI 这样做了，Anthropic 也这样做了。

他们开始做这些消费产品有点像是意外。ChatGPT 众所周知是作为研究预览版发布的，而不是作为产品。但它太成功了，以至于这些想要做研究、想要专注于宏大想法和构建最先进系统的研究实验室，在意外获得巨大商业成功的同时，也意识到他们需要巨额资本来扩展规模。他们能做的最好的研究方法并不涉及非常聪明、深思熟虑和拥有绝妙想法。它涉及拥有巨大的计算集群，此时成本高达数千亿美元。

说了这么多，是的，我同意你的看法，它们已经变成了企业，但我认为这不是因为它们经历了某种思维方式的转变。我认为这是因为我们所走的科技树路径既需要巨额资本，也有能力产生巨额收入，因为它在这个过程中确实是有用的。

你从这样一个事实中就能看出来：OpenAI 和 Anthropic 都走了这条路，尽管它们的管理理念和研究理念相当不同，但赚钱对它们来说都是必须的，而且它们很容易就建立起巨大的创收业务，因为这项技术在达到“机器之神”的程度之前很久就已经如此有用了。所以我想，这是同意你的观点的一种冗长说法，但也许还多了一些额外的色彩。

是的，我是说，凯文会告诉你，他本可以把那本书改名为《去他妈的这个家伙：AI CEO 的故事》。他们互相不喜欢。如果你必须重温那一刻[OpenAI 董事会投票]，并且说“我不信任萨姆”，你会重温那一刻吗？你会以同样的方式做吗？

哦，当然。我是说，我们进入这件事时就知道它会很糟糕。所以是的，当然。

你觉得这些人值得信任吗？你觉得萨姆值得信任吗？

我想我在这件事上的立场相当清楚，而且我也认为，如果我们对未来的希望寄托在任何一个个人是否值得信任上，那我们就完蛋了。这就是为什么我做我现在做的工作，因为我认为我们需要有不同的结构，需要更多更多的人参与进来，代表更多更多的视角。

You have some hindsight now. You knew it was going to suck going into it. You definitely know it sucked coming out of it. What would you have done differently about that time?

It’s kind of hard to give the full answer to that because it would take unpicking all this stuff and all these legal restrictions and blah, blah, blah, blah. For sure a thing would have been building stronger relationships with executives on the team. The way that the company related to the board could have been different if more board members had had that. I knew some of the folks pretty well, but that’s one thing.

I don’t know. I think we could have… Yeah, no, I think beyond that, it just gets hard to… You have to go in and say, “What were all the different micro decisions and why do we make those decisions and which ones could be—”

What is the show? It’s a show about decisions. I’ve got another hour.

[Laughs] Yeah, yeah, yeah. No, and then my answers would all get annoying and legal.

Fair enough. I’m curious about it because as they go public, there will be market forces acting on them in a totally new way. There will be an investor class. There’ll be an entire CNBC machine that wakes up every day and is like, “Is Anthropic winning or is OpenAI winning?”

That is a race dynamic that might be really healthy. It might keep them from trying to kill everyone in the world because they have a bunch of investors looking for their next quarterly earnings, or it might push them further into an unhealthy kind of race. How do you see that playing out, given what you know of these people?

It’s going to be really interesting to see if going public is good or bad for their governance. A lot of people are like, “Oh no, going public, there’s going to be so much pressure to make a profit that they’re not going to be able to consider other things.”

But at the same time, the corporate governance of public companies is much more structured, much more regulated, and subject to much more external scrutiny than for private companies. I think even things like getting to see Anthropic’s S-1 and thinking, “Okay, what are they doing and why are they doing it? And how do they think about the risks they’re facing, and how do they communicate about those with investors?”

Or even things like the Trump administration putting in place this kind of accord, they call it “Super Intelligence,” that several of the leading companies signed. That was structured around, for example, having certain types of things being reported to an independent committee of the board. That idea of an independent committee of the board is kind of toothless if it’s a private company that is deciding on its own.

I thought about you when I read that. I was like, “Boy, some independent boards have gotten in a lot of trouble before.”

But if it’s a public company, then an independent committee of the board has a pretty strong legal meaning. So I don’t know. It’s something that I’m watching with great interest.

The other race dynamic here is China. You mentioned China before. Inside of our country, a bunch of labs are going to go public. They’re going to become some of the richest companies in the history of the world, and they’re going to fight for every dollar that capitalism can generate, and hopefully that restrains them. The market forces will restrain them, and hopefully your work with legislators in this country does something.

And then there’s a whole other country that doesn’t listen to us or have anything to do with us, and they’re just going to distill our models and do whatever they want. That is the other argument for not placing any restrictions on these companies that everyone hears all the time. What should I make of that? I’m of two minds about it. How should I think about it?

Yeah. I think of this as the ”But China!” argument, which is like, “Well, yeah, we should do this, we should do that, ‘But China!’” I think the way to engage with it is an actual genuine problem that we have to grapple with, and we should be strategic and thoughtful about it and do our best to try and solve it as a problem as opposed to using it as a throwaway excuse. Like, “Oh yeah, sure, sure, sure. All that stuff would be so nice, ‘But China!’, so we’re stuck. There’s nothing we can do.”

So what does that look like in practice? If you’re serious about wanting the US to have stronger AI than China, then you need to think really hard about how much US AI development is helping Chinese AI progress. So the one that people talk about all the time, as you mentioned, is distillation, which is, “Are they using US models to generate massive amounts of training data for their own models and therefore progressing faster than they would otherwise?” So certainly I think it makes sense to try and crack down on that and prevent it from happening.

But another one, for example, is security and how easy would it be for Chinese actors or other actors, frankly, to steal algorithmic secrets, to steal wholesale model weights. If they can steal the weights of your Astra or your Mythos model and just take them back to their own servers, your lead has vanished. You now have a lead of zero. Right now these companies, especially the smaller ones, but even OpenAI and Anthropic, do not have very good security.

We’ve seen both of them over the last few months have external teams manage to hack into spaces that have large amounts of algorithmic secrets. In OpenAI’s case, it was their monorepo and GitHub, which had all of their code. And in Anthropic’s case, I think — and actually maybe the OpenAI case also involved this — the hackers got access to Slack. You’re just going to have so insanely much rich information about how to build better AI if you can get that access. So when our AI gets better, are we actually lengthening our lead or are we just pulling China along with us in these different ways?

The other aspect of this is just seriously treating China as an actor in this space and trying to think seriously about their motivations and their likely actions and responses. In my mind, a huge reason that a lot of things are not happening right now is most people are not convinced about this threat model that AI will become the machine god and will take over and humans will all die or will be subservient or whatever.

I think it’s fair for people to not be convinced of that, because the evidence is sort of conflicting and unclear, but if that is actually what we think could seriously happen, then China doesn’t want that either. So then it becomes a question of, “Okay, how do we try and get them on the same page of, ‘this threat that we’re worried about is a real threat to worry about?’ Because then they will be making their own decisions in their own self-interest.”

I think an approach of, “Well, the US has to force China to do something using some kind of leverage,” is never ever going to work. But an approach of, “Well, look, if we think this is a serious problem that’s going to affect us as humans, and the people in China are also humans, and also if we think this is a problem around who has control, the Chinese Communist Party really, really wants to have control, and so they’re going to have their own incentives and their own decision-making around how to fix that.”

Well, let me put it on a spectrum for you. This is very dumb and you’re going to laugh, but just go with me on this. On the one end, it is nuclear weapons and the Chinese government wants a nuclear weapon and they’re going to do whatever they can to control that weapon and they will run their industries differently.  If they get out of line, the CEO of Alibaba goes. He just disappears for a while and then comes back — Chinese government stuff.

We need a nuclear weapon, too. If we don’t get there first, then we’ll never get the nonproliferation treaty that we need to keep us all safe for mutually assured destruction. That’s one framework.

Way on the other end, I spent five years of my life listening to telecom executives tell me that if we didn’t build 5G networks first, China would get them, and then something. No one could ever tell me what the “something” was. Where on that spectrum between 5G and nuclear weapons is the US-China AI race?

I think we need another dimension because in that example, your dimension is significance. But I think the controllability is a huge question as well. So it’s like, what are the examples that people use? Is it a nuclear weapon or is it dragons from House of the Dragon?

Casey Newton had a great Platformer post where he explained he was watching House of the Dragon and thought, “This is what the AI companies are doing. They’re trying to build these things that they think will help them, but actually it’s just going to rain down destruction.”

[Laughs] Casey told me he was buying an iPhone Duo so he could watch more TV. He’s a dear friend, but okay.

But I think that’s really important because if we think this is a technology we can control, then obviously we want to have the best technology. Obviously, we want to go foot to the floor, get there as fast as we can, and the same is true for China. The question is, if we are not sure if we can control it, then what do we do? Maybe we want to be more cautious and then maybe we want to try and figure out a way to not have China just be overtaking us. But if we’re correct we should be worried about—

So that’s nuclear weapons.

Well, no, but if it’s dragons, if we’re correct that we need to be worried about whether we can control this, then that’s also something that should be interesting to China.

I remember this Casey post, but let me just try to pull this apart so I understand it. The difference between dragons and nuclear weapons is the dragons have some agency, right? They can go away and do bad things on their own.

Yes. The dragons might just decide to burn down your whole city. Obviously these are machines — they’re just math, they’re not magical. So instead of dragons, you could think of it as nuclear weapons with faulty control settings, where you build nuclear weapons, but it’s impossible to be sure that it’s not just going to go off and fly to a city and fly to one of your own cities and wipe you out. That’s a very different technology than real nuclear weapons that exist.

It is true. No one ever said that about 5G. I’ll be clear about that. The reason I’m asking about this is because those problems do align nation-states, right? We do have nuclear nonproliferation agreements.

As you mentioned, there are all kinds of incentives for nation-states to not do cyberattacks willy-nilly because those have real-world consequences. Is there any evidence that these governments have started to align on these problems? Or is it still the pure “But China!” race dynamic?

I actually think there is starting to be some early evidence. One way I think about what happened this year in AI from a policy perspective, less than a product or economic perspective, is we saw these two big demonstrations of the two major concerns people have. So the two major concerns are misuse and misalignment, meaning misuse is bad people using AI for bad things and misalignment is AI going rogue or doing things we didn’t want.

So this year we had Mythos and we had the Hugging Face attack. Both of those are just really vivid, crisp real-world demonstrations of what these misuse and misalignment concerns could look like. The US and Chinese governments are starting from very different places on AI regulation. They’re both starting from where they started, and what they did with, internet regulation.

So the US is starting from a “hands off, laissez-faire, absolutely nothing, do whatever you want” approach. China is starting from a massively locked-down internet with tons of censorship and the Great Firewall. So those are two very different starting points.  I’m not a China expert, but I operate a lot in China circles and I’ve lived in China and so on. But it seems like just over the past even one to three months, starting from those two very different points, they are seeing more in common around threats from major cyberattacks and also threats of loss of control.

I’m a language nerd and it’s really interesting tracking the different language China uses about AI. So they’re now talking about loss of control as a thing, but they probably usually don’t mean the same thing that Westerners mean where “loss of control” is like “AI takeover.” They probably mean something more prosaic, but then sometimes they talk about “extreme loss of control,” which maybe is the thing we mean.

I do think that there are starting to be some signs of convergence. I think it’ll be a long road. The state of the US-China relationship is such that there’s going to be very, very, very little trust on either side. So I am not optimistic that they’ll just get to sit down in a room and hash out a deal and everything will be great. But I think there is enough space. Basically, if there’s enough shared threat perception, then it might be possible at some point in the future to do something about that.

Helen, you’ve given me so much time. As you can tell, I’m just delighted with this conversation. It’s been very fun. We are on the cusp of a new Congress. There are a bunch of new governors. The data center referendums passed overwhelmingly in this country. There’s a new set of regulators in town, right? They’re going to do some stuff.

What are some signs people should look for to indicate we’re going to be on the right path and what are some signs that we’re just chasing our tail?

Set AI aside, forget about AI. Congress in general is very bad at passing things right now. This is not a this administration thing, this is not an AI thing. So one sign is like, can Congress pass anything? That will be a good sign.

It’s also really interesting to look at what state legislatures have been doing in AI. There’s been a lot of concern about the possibility of a state patchwork on AI, with different states passing conflicting things.

With the issues that we’ve been talking about today, which I think of as frontier AI risks or the risks from the most advanced systems, there’s actually been a pretty coordinated push in different states. California passed this one bill and then New York passed almost the same bill with just a little more added to it. And then Illinois passed almost the same bill with a little more added to it.

I think there’s going to be a lot of momentum over the next year or two to keep building on that at the state level. So that is something that I’ll be watching. Even just specifically California is already looking at how they can strengthen things. So that is something I’ll be looking for.

I think honestly, with such a Democratic Congress, I am also concerned that they will overstep here, that they will try and do something that is too sweeping. You had this huge mess in Colorado where they passed this giant AI bill that then was a terrible idea. And so then they had all these committees and follow-up and it was awful.

A lot of what we need right now is focused on these frontier systems and the possibility that we have really, really advanced systems in a short amount of time and having much more transparency around that and much clearer standards for how they manage risk. I would not be that excited about an attempt to do a really comprehensive AI regulatory push that covers AI all across the economy and all different kinds of AI systems that are less advanced.

There are negative signals that are like “nothing’s going to happen,” and there are negative signals like, “oh, maybe too much is going to happen,” but it’ll be interesting to see where they get to.

I suspect we’re going to want to have you back as this Congress starts to get to work and we see some of these ideas.

I would love to.

I’m eager for your take on it. Thank you so much for being on Decoder.

Thanks so much. This was really fun.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}