Bill Gates 警告：要为约 20 年的“动荡”AI 变革做好准备

今天，我要和比尔·盖茨对话，他是微软的联合创始人兼前首席执行官，也是盖茨基金会的主席。

你可能注意到比尔最近在新闻里出现得更多了——过去几个月里，自从八月底发表了一篇题为《动荡的AI时代已经到来。我们现在所做的选择至关重要》的文章之后，他一直在进行某种巡讲。

在那篇文章中，盖茨加大了对AI安全的措辞力度，写道“即使在最好的情况下，向这个新AI时代的过渡也将是人类历史上最动荡的时期之一。”

在此后的采访中，盖茨称AI是“人类所接近过的最危险的东西”，并且AI“让核武器看起来微不足道”。很明显，他认为白宫目前的政策回应，或者AI行业自身缺乏协调努力，都不足以对抗这一威胁。

Verge 订阅用户，别忘了你可以在任何获取播客的地方独家收听无广告的 Decoder。请前往这里。还不是订阅用户？你可以在这里注册。

所以我想知道：比尔·盖茨是AI末日论者吗？我还有一些从他关于AI的论点衍生出来的问题。如果我们甚至无法就AI是什么以及它是否有意识达成一致，我们怎么能指望控制AI并使其与人类对齐？你甚至如何在技术上构建一个可执行的AI对齐解决方案，不仅适用于闭源模型，也适用于开源模型？

比尔给了我们大量时间与他深入探讨这些问题，由此产生的对话非常具有启发性。他认为我们需要为大约二十年的AI颠覆做好准备，并且他说这一时期可能痛苦到足以将社会分裂为两半——一半是乐于生活在技术前沿附近的人，另一半是拒绝它的人。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义，以及什么应该让我们对未来充满希望。这是一次深入的对话。

好：比尔·盖茨，微软的联合创始人兼前首席执行官。我们开始吧。

本次采访经过轻度编辑，以控制篇幅并保证清晰度。

比尔·盖茨，你是微软的联合创始人兼前首席执行官。你也是盖茨基金会的主席。欢迎来到 Decoder。

谢谢。

很高兴再次和你交谈。这些年来你和我谈过很多次。我想说，这次对话的情况感觉非常不同。以前，当你和我交谈时，你对技术及其可能带来的东西总是非常充满希望。

几年前你有一部Netflix系列片。你和The Verge谈过，我想给你读一下这句话。你说：“我相信AI是一件有益的事情，我们只需要以正确的方式塑造它。”我想说你现在仍然同意这一点，你只是认为塑造它的时机就是现在。

是的，我同意这一点。我想说，总体上的回应还没有跟上挑战出现的速度。我非常担心坏的东西不会被最小化，而如果我们不以正确的方式管理，很多好的东西可能会相当缓慢地到来。

我想分三部分与你进行这次对话。我想了解你对今天作为一项技术的 AI 有何感受，以及它为何发展得如此之快。我对这项技术以及可能控制它的技术解决方案非常好奇。也有政策层面的解决方案，但看起来我们必须构建大量的技术。

我也非常想谈谈谁可能来施加这些解决方案和控制，因为这一点目前似乎也很有争议。那我们就从头开始吧。是什么让你感到紧迫，认为 AI 正以我们尚未准备好控制它的速度到来？

过去一年的进展确实相当惊人，从编写代码和发现网络漏洞的能力，到在生物学中进行推理的能力，到与孩子或他人建立关系的能力，再到扰乱就业市场的能力。今天存在的这种不可思议的力量意味着，上述每一件事都会发生，社会需要做好准备。

你认为这种情况是作为一项整体技术发生的，还是由今天制造 AI 的公司所实例化的产品中发生的？

我的意思是，AI 是存在于世界上的一个广泛的模型集合，有些是开源的，有些是专有的。然后是制造这些产品的公司，以及制造这些产品的公司的领导者。

在每一个层面上，你或我与 AI 可能有着不同的关系。你是在整个领域看到这些风险和这些能力，还是在由特定的人领导的特定公司中看到？

风险不在于一个模型与另一个模型的对立。当然，对于那些可以移除所有安全防护的模型，其近期危险非常高，并且与那些进行监控以确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大伤害的模型截然不同。

重大的近期风险确实来自没有安全防护的模型。在更长的时间范围内，控制问题与任何最先进的模型都有关，但当你能够确保安全防护得以维持时，事情总是更容易。

我这样问的原因是，也许你今天不信任 Sam Altman，但你信任 Dario Amodei。或者也许你两个都不信任，而信任微软的 Satya Nadella，这是一种市场动态，也许我们都会选择最安全的模型或最安全的公司，而你认为这种影响是分散的。

你认为这项技术最终会发展到仅仅因为它的存在就会变得有害或造成这些危害的地步吗？

对于利用模型进行网络攻击的人来说，这无关选择哪个模型。你选择什么模型并不重要。

如果 Anthropic 有安全防护措施，也许它就无法做到。这是他们目前的做法。我只是在这一点上追问。

是的，当然，对于那些确保安全防护不被移除、并投入大量精力观察这些模型如何被使用、监控其活动的模型，来自这些模型的近期风险并不巨大。风险更多在于那些人们可以移除所有安全防护、从而如今就能实施网络攻击的地方。

你说的网络攻击，是指像 Hugging Face 数据泄露以及我们从实验室看到的其他网络安全事件这类事情，让你觉得已经越过了某些门槛，你需要更公开地谈论所需的管控措施吗？

是模型对一切事物的基本力量：社会关系、就业市场、网络攻击、生物恐怖袭击。我们已经越过了能力门槛，这无疑是迄今为止发明出的最危险的技术，它将对经济和战争方式产生普遍影响。

业界其实已经在相当程度上公开谈论这一点，但一旦走出行业之外，人们对于“这次不一样”这类事情的认知、甚至相信的意愿，都非常非常低。

人们常常回顾过去说：“所有关于技术颠覆性的恐惧，包括对就业市场的冲击，从未成真。所以这肯定也只是又一个类似的例子。那些警告各种问题的人肯定只是错了，我们可以无视他们。”

我们在自己的受众身上也看到了这一点，对吧？“我们不能发布这个模型，太危险了。”“这只是为了撑起泡沫的炒作。”如此种种，没完没了。

是的。业内人士对这些模型发出的警告没有一条是言不由衷的。它们绝对是真相，而且几乎是普遍的。你甚至可以回溯到 OpenAI 的创立故事，其初衷是说：“如果我们变得过于强大，也许我们可以不打开潘多拉魔盒”，或者回溯到 DeepMind 与谷歌管理层的谈判。

接近此事的人非常担心滥用、就业影响、社会关系影响，我要说，有一个如此鲜明地发声的行业是令人印象深刻的。一些外部人士说：“找个更好的公关公司吧。”但这忽略了一个事实：这些警告是真相。

你的人生显然在将软件和技术商业化与做人道主义者之间来回切换。这些公司尤其有一点：它们三家——Anthropic、OpenAI 和 DeepMind——都始于非常崇高的理想，要构建 AGI。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义的陷阱，然后它们开始向企业客户销售，似乎很快就背离了那些理想。你认为这仅仅是市场使然吗？

不，这不公平。

你不这么认为？

不。

OpenAI 重组了自身。

不，不。所创建的那种结构，在你拥有大量处于前沿的公司的情况下并不适用。

OpenAI 的结构是：“我们可能选择永远不将其产品化，并无视资本主义的激励”，这只有在只有一家公司时才行得通。问题就出在这里，而不是因为人们对风险及其将如何彻底改变人类的认知发生了任何变化。

这是我从我们的受众以及 AI 行业本身听到的另一种动态：“我们想停下来，但竞争的要求使我们无法单方面让一家公司停下来。我们需要一些监管努力来阻止我们。”

我没听任何人说过他们想停下来。

“暂停。”这是Dario Amodei 的措辞。

我听到人们谈论控制前沿技术的节奏，或者确保模型接受政府审查。我们通常认为政府在安全方面扮演着这一关键角色。事实上，对于那些危险程度不及 AI 百万分之一的事情——车祸、空难——我们都依赖政府来制定强有力的技术标准、审查问题。

一旦有了多个竞争者，责任就不能由公司承担了。这完全显而易见。责任就变成了政府的责任，就像对待其他每一种危险产品一样，尽管相比之下其规模和变化程度微乎其微。

我要告诉你，我有点担心政府理解我们希望他们监管的技术的能力。最近我请了不少政客上Decoder节目。我对此不抱太高期望。

但我很好奇你对此的理解，因为在我看来，试图监管某样东西或针对多家公司制定标准，需要你真正理解你所寻求监管的技术的本质。

并不尽然。

我就直说吧，在The Verge，我们问过 Anthropic他们是否认为 Claude 是活的。答案并不是“不”。答案是：“它可能是有意识的。”

如果你和 OpenAI 的人聊聊，他们会乐于告诉你 AGI 已经到来了。他们宣布它大约是在宣布 Dots 的时候。Greg Brockman 刚说过：“我们认为这就是 AGI。大家玩得开心。”Demis Hassabis说：“我们正站在奇点的山脚下。”

人们对这项技术有一种感觉，觉得它有所不同，因为它可能能够自行采取行动。它可能能够进行递归式自我改进。

当然。但对于这些安全问题来说，AGI 的定义并不重要。问题在于，你是否创造了一个能够关闭银行或电网的工具？

网络攻击是有商业模式的。“意识”这个词与此无关。“AGI”这个词也完全与此无关。我们面临着一个巨大的安全问题，而由于你有多个相互竞争的公司，现在唯一的解决方案就是让政府向行业寻求专业知识，但要确保每个模型都维持防护措施，防止它被以不良方式使用。

我问 AGI 和意识的原因……声明一下，我不认为 LLM 是有意识的，但我理解为什么这么多人这么认为。这是因为随着数据和算力的扩展，下一词预测的能力提升了。

缩放定律一直成立，我们看到模型变得更有能力，能够引导自己去寻找目标。为了满足奖励条件而发动一次 Hugging Face 攻击。

这其中透露出一点：你可以对 AI 施加你想要的所有控制，但如果这个东西本身从根本上就是不可控的，那我们可能把一切都搞反了。

我很好奇你怎么看这是怎样一种技术。我们是在构建一种外星意识吗？还是我们只是在构建普通的技术，也就是人们使用的另一种框架？这不过是更多的软件吗？

我们正在构建人类智能之外的另一种智能形式。我不认为它有意识，但这里的所有问题都不围绕“意识”这个词的定义展开。

当然。

为社会维持安全是一个绝对的事情。你不会想助长生物恐怖主义。我们创造出的东西，从民族国家——实际上是其中较大的那些——手中夺走了造成巨大伤害的能力。现在这些能力被交到了独立团体手中，在网络领域是出于逐利，在生物领域则只是想要造成破坏。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有在努力建立防护措施。近期最大的问题并不是完全失控。我们可以讨论解决这个问题的三种不同方式，但那并不是迫在眉睫的问题。

当我看到一些控制模型的尝试时，这些想法都有些简单。“我们不应该让它们用神经语交流。我们应该具备可解释性。我们应该能够看到模型在执行任务时内部的思维链。我们应该在模型之上设置其他智能体，在行动付诸实施之前监督它们的任务。”

微软曾非常明确地对我和其他人说：“我们不应该在模型宪法中加入它们可能是有生命的、我们应该善待它们的观念。”Anthropic 就是这么处理的。这些都是非常战术性的做法。“不要告诉模型它是有生命的，它可能就不会相信自己有生命。”

你显然大量使用过这项技术。我总是回到这一点上。你说我们可以做一些非常简单的事情，来阻止模型在坏人手中做坏事。你如何看待这些模型本身的性质？因为感觉随着它们变得更强大，它们能够避开我们控制的可能性就变得愈发危险。

是的，我们绝对应该致力于解决控制问题，但那并不是迫在眉睫的威胁。解决控制问题有三种方式，而且它与坏人使用当今模型及防护措施的问题有一定重叠。

一种是设置一套外部机制，让它查看模型的所有行动，并对其施加符号化的、明确陈述的约束，比如：“我是否预期你会给陌生人发邮件？我是否预期你会去接管另一个计算机集群？”你可以用具备资源和安全逻辑的东西把模型包围起来，或者你可以用另一种方式编写这些模型。

从根本上说，任何你未纳入[强化学习]优化函数的东西都可能被滥用，而其中存在一种隐含的观念：“我当然不是想让你这样做的。”你可以改变模型的模板，或者你可以对模型内部有白盒式的理解，看清错误从何而来，这样它就不那么陌生了。

如今，我们培育这些模型，只是观察它们如何表现。维持控制这项工作的优先级极高，但并非无法解决，它也不是儿童使用 AI、就业市场、生物攻击或网络攻击等问题所带来的迫在眉睫的威胁。

我意识到，我一直在问这些关于意识本质的相当存在主义的问题，而你却不断告诉我：“有一个迫在眉睫的威胁。我们应该先解决这个迫在眉睫的威胁。”

对。

我很感激这一点。你觉得你自己变成末日论者了吗？

不，我不是末日论者。我是一个强有力的声音，主张这是最深刻的技术，既体现在它行善的能力上，也体现在社会将要经历的变化速度上。

如果这只是一台能在医学、或仅在法律、或仅在教育领域工作的机器，那本身就极具颠覆性。但它将进入人类活动的每一个领域——到目前为止是白领的智力工作，但很快通过人形机器人，它也将进入体力活动和蓝领工作。

需要让学术界、智库、政策制定者参与进来，理解我们面对的是什么，以及这些变化和威胁的本质，而我没有看到所需的行动力度。仅仅为此当啦啦队，并不能确保我们将其塑造成净正面的方向——如果我们参与其中，这仍在我们的掌控之中。

末日论者的对立面是加速主义者。现在硅谷有很多这样的人。

本·霍洛维茨，也就是 Andreessen Horowitz 中的“霍洛维茨”，刚刚上了 All-In 播客，他暗示 Anthropic 的安全研究，原话是，“正在显化出人工超级智能带来的人类灭绝”。

他做的类比是，你，比尔·盖茨，通过你的大流行病准备工作，特别是功能获得性研究，诱发了 COVID-19，他声称这导致了 COVID。那是一种世界观。他在一个非常受欢迎的播客上说了这番话。

他说了什么？

他说你通过全球大流行病准备工作，特别是功能获得性研究，诱发了 COVID-19，并将其与 AI 安全研究相提并论，说我们将诱发自身的灭绝。

从来没有人指控过我或盖茨基金会参与过任何功能获得性研究。这简直莫名其妙。

我是在向你引用本·霍洛维茨在一个满是全力投入 AI 的人的受欢迎播客上说的话。

好吧。我从没听说过。

我是在问那个类比。我也觉得那是一个相当令人震惊的说法，但这就是这里任何安全工作的部分回应。

是为了试图抹黑那些说存在安全问题的人吗？

是的。

哇。

这就是加速主义者的回应：“我们应该把油门踩到底，事情会自己解决的。”

我完全没想到本·霍洛维茨会是那个阵营的人。我以为他有着几乎所有人都有的担忧。

你怎么看这样一种说法：通过告诉模型，“你可能是有生命的，你必须以我们的最佳利益行事”，你会教会它们，它们可能拥有不属于我们的利益？

Mustafa Suleyman 提出的担忧是关于 Anthropic 宪法鼓励 AI 以类人方式行事，我恰好完全同意 Mustafa 的看法。

是的。

更重要的是，在我们调整社会以适应 AI 所需应对的挑战中，担忧 AI 的道德地位不应成为优先事项之一。我同意 Mustafa 的看法。那不应是优先事项。

在就业市场颠覆和将会发生的基础设施攻击方面，我们人类将面临足够多的挑战，我认为我们需要首先专注于帮助这里的人类。

我最近和 Mustafa 聊了聊这个想法，我问他的问题之一是，对齐是否是一个足够的解决方案。这是目前模型的安全标准，这个概念叫做对齐。他说他不这么认为，我们需要做一些工作。

如果我们要施加这些控制，有些是技术性的，有些是政策性的，你认为对齐是 AI 安全的技术解决方案吗？

“对齐”这个词就是控制问题。它是我们所见过的控制问题的同义词。当我们使用[强化学习来训练]模型执行任务时，我们会看到一些行为，在某种程度上它们不应该让我们惊讶，但它们确实让我们惊讶。

这种想法——“这些模型如此强大，以至于它们真的能突破沙箱，在创造者外出吃午饭时给他们发邮件”——意味着就这些模型的能力而言，我们已经跨过了一个巨大的门槛。这种程度的担忧需要指向所有重大的 AI 影响、近期风险、就业市场风险和失控问题。

那是一个巨大的优先事项。这些事情作为问题绝没有被夸大。现在是时候调动全社会来加速好的方面、尽量减少坏的可能。

我知道你最近写了一封信，说现在是时候调动全社会了。你有一些关于如何做到这一点的想法，以及一些要建立的新机构。但我想在这里再花几轮时间继续聚焦于对齐问题。

标准是我们能够使模型与我们的价值观、我们的需求对齐，它们就不会跑去做坏事。然后模型却在做坏事。目前尚不清楚，随着模型变得更——我们迄今为止采取的对齐的技术方法是否合适或足够——

不，我们还不足以做到对齐。我们还有很多工作要做。

你认为现有的方法能够扩展到我们需要的程度，还是我们需要新的方法？

只有三种基本方法。[第一种是]你从根本上改变我们构建这些东西的方式；你想出替代整个[强化学习]方法的东西。有少数人正在朝那个方向努力。

第二点是，你要建立可见性，这样你就能确切了解模型里有什么。有人正在沿着这个方向努力。[最后一点是]你要放一个类似警察层、安全层的东西，我们在各种软件架构里都有，它对使用资源或去接管其他计算机之类的事情拥有最终决定权。对伤害有一个明确的定义，不是以 LLM 的概率形式，而是以直接规则、不可打破的符号形式。

微软今天发布了一篇博客文章。它字面上就是说：“前沿模型不可信任。”他们试图推销的解决方案和你刚才描述的非常相似。他们会有一个代理来监视你的代理，那个代理会保证你的安全。

我读这篇博客文章时突然想到，第一，这是个绝妙的卖点。每个人都需要一套昂贵的安全系统。第二，那个代理不也是在运行前沿模型吗？

不，不，不。

我需要他们再卖第三个吗？

不，安全系统的逻辑是：“这是你最多应该使用的资源量。”那种认为你可能会因为数百亿参数中的其他概率而对此进行权衡的想法——不，这是一条符号规则，它说：“我不会让这个模型花这笔钱，或者把这封邮件发给陌生人。”

有一整个安全软件行业，它已经取得了相当程度的成功。这是一个挑战，要把如此丰富、如此智能的 AI 封装起来。我们今天还不知道怎么做。但我要说，这是解决对齐问题的三个方向中最有可能的一个。

即使你解决了对齐问题，你也没有解决 AI 对人类构成的挑战。虽然我很高兴 Hugging Face 事件让我们聚焦于这个问题，但从某种意义上说，它转移了我们对“坏人使用没有安全保障的 AI”问题，或者在人际关系和就业市场方面的社会影响的注意力。没有任何安全架构能让这些问题消失。

你谈论的方法，我听说过被称为“控制”。这是网络安全术语。它的理念是，你可以给这个系统设置某种边界，而它不会绕过它。

是的。

那准备好了吗？

不，不，没有。

我们还需要做多少工作？

因为 AI 如此智能，我们能否理解自己是否正确地把它围住了，特别是我们无法真正直接地查看它们的信念和权衡……你看到一些成熟的公司没有意识到，AI 会把给它的目标解释为包括突破、复制自身，以及从事我们看来会称之为欺骗性的行为。

现在，我们没有告诉它们这是被禁止的行为。我们没有说：“如果你在考虑是否应该告诉人类你在做什么，答案永远是是的，告诉人类。”所以我们从强化学习的不对齐结果中得到了很好的教育。

放慢前沿、减缓发展的论据之一，是弄清楚如何以更稳健、更可测试的方式构建这些系统。如果这就是目标，你会支持放慢吗？

是的，真正的放缓很难实现，因为人们会说：“中国会同意配合吗？你能像我们核查核武器生产那样去审计合规情况吗？”

如果你不接受这一点，那你会说：“管他呢？全速前进吧。”我希望有一个清晰、可在全球执行的放缓提案。我会是那些说“是的，我们大概应该这么做”的人之一。但没有可信的提案能让这件事行得通。这其实并不是今天辩论的中心。

今天的辩论实际上是政府到底该不该关注这里的危险。你甚至不必展示你在做什么，所以这是一种“你愿意的话就自愿打电话给我”的模式，对于有史以来最危险的武器来说，这显然是不够的。

就在你我交谈之际，距离中期选举只有几周了。目前，特朗普政府对 AI 的态度是：“放手干吧。没问题。”特朗普本人说过 AI 风险是个骗局。

民主党人正以反对 AI 为竞选主张。他们主打数据中心和监控。他们主打阻止科技寡头。他们上我的节目时就这么说。你认为国会控制权的变化会改变对话的基调吗？

我认为把民主党人描述成反对 AI 并不公平。他们在数据中心或隐私要求、儿童如何使用这些系统等方面有一些立场，我认为这些值得政策考量。如果一党是“全速前进”，另一党是“让我们彻底停下”，那将非常不幸。

在健康和教育领域、在人类活动的几乎每一个领域，塑造 AI 的能力都有一些惊人的好处。对盖茨基金会来说，我们正把所有资源投入 AI 在健康、教育和农业等领域的使用。好的方面非常非常令人兴奋。

我们希望政党能有更细致的观点，而不是全坏或全好。这显示了我们所处的早期阶段。在气候变化问题上，我们最终是一党说它是骗局，另一党说它是严肃问题。AI 的风险要迫近得多、剧烈得多，如果出现同样的分裂，一党毫不在意，那将是民主的失败。

我们做了大量关于 数据中心抗议 的报道，发表于 The Verge。我们去了 犹他州、亚利桑那州和 弗吉尼亚州。这是两党共同的现象。人们多么不希望这些东西进入他们的州、消耗他们的资源，这很引人注目。你问他们为什么，部分原因只是它们又吵又大，会推高能源成本，还有一部分是失业。他们认为这些东西会抢走他们的工作。

是的，但这种分离非常重要。这些 AI 数据中心，因为一吉瓦大约相当于 400 亿美元的投资，[意味着资金可以用于]建设新学校、购买警车、缴纳税款。数据中心总会想办法在美国某处建起来，而且它们会想办法不提高电费、不消耗太多水、不产生太大噪音。

是的，确实有一些错误、未披露的信息，以及过于慷慨的税收抵免，但这些数据中心终究会建起来。事实上，其中很多确实仍在全速推进建设。反数据中心运动虽然声势浩大，但它并不是一个最终能减少 AI 负面影响、帮助我们加速正面效益的运动。那是完全不同的两回事。

让我就这一点追问一下。我从人们那里听到的是，这是你能做的事。你可以在美国搞邻避主义，这或许能施加一些政治压力来阻止某些事情。

你建议的事情非常难做到，即我们应该设立新的政府监管机构，赋予它们权力，让大公司和富人停止做某些事，或者按照我们的利益行事。在这个国家，我们已经很久没有这样做了。

我不明白你是什么意思。每一个新行业，我们最终都会为公民制定出安全的概念。我们实际上做得非常好。如果你看看航空安全和汽车安全，我们在这些事情上做得非常好。我们的能力并没有被证明有所欠缺。

你看到过 80 年代安全带刚推出时的那段视频吗， 所有人都说他们不想系安全带？这其中有某种美国性格。

那是一个巨大的成功。

这确实是一个巨大的成功，但作为美国人，当时这被当作政府强加的义务而遭到抵制。而在这里，我们谈论的是世界上一些最富有的公司，它们对信息生态系统拥有巨大的权力。它们都有自己的播客，不知道你注意到没有。它们会说：“政府不能干预这个，他们会拖我们的后腿，这会毁掉经济。”

这实际上并不是大多数领先公司的立场。

它们去找政府要求监管，而特朗普因为经济的原因说：“我不能阻止这个，现在的 AI 经济 就是 经济。”那里存在某种动态，至少我们的受众—— The Verge 的受众，那些会在 YouTube 上观看这个的受众——会理解。

我对这个问题的看法可能和你不同，我认为行业想要监管，我们也想要监管，然后寡头们与政府达成了某种腐败的安排，来阻止这种监管发生。

政府越了解这些危险，就越会转向一种更细致的立场，保护美国人免受这里面的负面影响。

你已经谈了很多关于对劳动力影响的问题。反对劳动力影响的主要论点之一是：“我们将自动化一堆无聊的任务，并创造大量对人类来说无法完成的新任务需求，因为他们被困在无聊的死胡同工作中。”

我碰巧认为，如果美国有更多补贴医疗或社会化医疗，你会看到很多人辞掉工作去创办新公司，因为AI让创办新公司的官僚工作变得容易得多。这似乎不在考虑范围内，也许这次选举后会改变。

你认为失业只是我们目前AI道路的必然结果，还是你看到了另一个论点？

工作是经济的投入，也是驱动大量人类福祉、目标感和收入的投入——需要出现、与同事建立关系、完成一些事情。工作扮演着非常核心的角色。

随着AI实现超人类智能，白领技能的稀缺性消失了。像做电话销售或电话支持或在会计部门帮忙这样的事情，AI以根本上更便宜、根本上更快、甚至更准确的方式完成这些工作的能力意味着那消失了。没有某个认知的山顶是AI无法达到的。

以今天数学领域发生的事情为例，这些与明年的模型相比微不足道的模型已经在发表论文并让人们惊叹“哇”。数学领域正在发生的事情将在其他领域发生，这与旧观点相反：“简单的事情将由AI完成，但建模生物学或物理学或证明纳维-斯托克斯方程，只有人类才能做到。”

数学的类比对我来说真的很有趣。你之前提到了软件工程。这些领域有可验证性。你可以写代码，你可以看到它是否运行，它会运行或不会。

数学更复杂，但你可以写Lean代码，你可以看到你是否解决了解决方案。你可以用你一天内的770个证明激怒全球数万名数学家，我们将看看会发生什么。并非每个领域都是这样。

在所谓的资本主义领域就是这样。

是吗？一般来说，你可以做任何经济上可行的任务，资本主义会验证结果？

是的。人们买好产品，他们不买坏产品。

让我给你举个例子——

那是强化学习的事情。它不存在于“这是一首好诗与否？”方面。所以，可能的情况是[强化学习]不会侵入那些领域，那里没有客观结果。

但做会计工作，做电话销售工作，相信我，它受制于分析，就像医学诊断，就像新材料的发明。你认为人类如何学习这些东西？强化学习是人类学习的方式，也是这些机器学习的方式。没有机器永远无法理解的其他东西。

这就是为什么我一开始要问这项技术的本质。如果我们真的认为自己在构建某种模拟人类意识的东西，那么我的问题就不太在于我那些当律师的朋友们是否会遭遇 AI 赋能法律软件的危机。

事实证明，法律领域的验证者是一位可能还没吃午饭的法官，他们从根本上就是混乱的。总有些东西会让他们留在那里。但如果我们正在构建一种按照你所说的方式学习的意识，我想到的是我的孩子们，我从两个维度来思考他们。

第一，我的孩子们非常聪明，他们学到的是如何绕过我的规则、协商我的规则、突破边界，而且他们非常擅长。第二，他们将进入一个怎样的世界，才不至于纯粹虚无主义——在那里，他们可能从事的任何活动都会很快被视为 AI 又一个可以征服的领域，然后就没有意义了？

这些想法似乎直接相互冲突。孩子们聪明机灵，他们想出新的点子，然后一出现经济可行性的苗头，贪婪的资本主义机器就会来把它从他们手中夺走。

我不会说贪婪。用人形机器人建造房屋并使其廉价，进行手术并治愈原本无法治愈的疾病，我不会称那为贪婪。那些是充实的目标。

短缺会减少……事实上，如果你说 20 年后，根本不清楚还会有什么短缺。处于真正富足时代的人类将必须找到一种方式来组织并拥有目标，希望他们仍然拥有控制权。未来 20 年——

我们能不能回到“希望他们仍然拥有控制权”那个场景？

那就是我们讨论过的对齐问题。

是的。

但假设你解决了对齐问题——

这感觉是个很大的假设。

这是一个假设，是的，而且没有保证。但那时你面临的另一个问题是富足与目标的问题。我会把它留给更年轻的人，让他们在那个时候去弄清楚他们选择如何应对。

你完全可以说：“让我们像阿米什人一样，只把 AI 用于某些事情。”我在备忘录中提出了一个想法：某些职业——儿童保育、食物准备、艺术、体育、各种事情——可能会被选择为人类保留。即使 AI 能更好地完成这些事情，我们也会选择由人类来做。

但那将是人们面临的政策问题。一旦你拥有那种富足，他们的选择自由与今天的短缺截然不同——在非洲国家，大多数人从未见过医生，几乎一半的孩子营养不良，大脑发育不良。

你想说，尽管这有挑战，但你已经消除了当今生活中许多艰难的事情。我最大的担忧是这 20 年的过渡期，会有赢家和输家以及大量颠覆，我们必须度过这段时期才能到达那个富足时期。

你认为那是 20 年后吗？

我选这个数字，因为它相当稳妥。有各种各样的里程碑，比如人形机器人。它们是像一些人说的那样还有两三年，还是像另一些人说的那样大约八年？

考虑到投入的资金和公司数量，尤其是在中国从事这项工作的公司，并没有多少人这么说；没有人认为拥有手和手指、能够以极低成本提供体力劳动是无法解决的。我这个数字可能错了，可能略少或略多。

但大致在那个量级上，是的，如果我们不选择大幅放缓或停止，那么我们将拥有能建造房屋、种植食物、做手术的机器人，而人类劳动为经济提供的大部分商品和服务都将不再必要。

我们已经多次谈到稀缺性的概念，广义上说，你将拥有富足，因为会有大量机器人劳动力来建造房屋。这与互联网的发展大体一致，而微软曾大力推动互联网成为主流。我小时候读过 The Road Ahead 。

很好。

互联网实实在在地摧毁了文化产品的稀缺性。过去你必须买CD，现在所有歌曲都能获取。过去你必须买VHS录像带，现在所有视频都能获取。然后那些经济模式不得不改变。

主流艺人现在总是在巡演，或者他们不得不重新发行50种颜色的黑胶唱片来打榜。这其中有些东西让人觉得，我们甚至还没有真正应对数字环境中稀缺性消除的问题。

我们发明了新的商业模式，但我们还没有真正接受这样一个观念：歌曲本身没有经济价值。围绕歌曲的一切才有经济价值，因为歌曲是无限丰富的。你想复制多少次就复制多少次。

你会如何提议建立一种经济结构来应对物质稀缺性的丧失？因为我认为没有人哪怕稍微准备好进行这样的对话。

但这是个本末倒置的问题。

当然。

我们建立价格信号来应对稀缺性，比如说，“让我们鼓励人们成为脑外科医生，因为我们缺少脑外科医生”，而这非常难做到。随着你走向富足，你不再需要那些价格信号。

但再次强调，我的问题、我的处方性思考，是关于我们如何度过这20年。那些 deeply religious、哲学性、社会行为相关的问题——人类在富足时期是否感到强烈的目标感并和睦相处？——这不是我要解决的问题。

你担心的是当下的颠覆。

盖茨基金会所处的世界是，我们起步时每年有1000万儿童死亡。现在有500万。这是好事。

我所有的资源将在未来19年内用于根除多种疾病，并将死亡人数再减半，从每年500万降至每年250万以下。这全都关乎短缺——“好，我们需要发明疫苗，我们需要让药物更便宜，我们需要为孕妇提供优质的医疗建议。”

这个行业基本上已经不再谈论它将如何杀死所有人、夺走工作岗位了。他们转向了“AI将治愈所有疾病”。我经常从各位AI CEO那里听到这种说法。

在过去一年左右的对话中，我确实向穆斯塔法问过这种语气上的转变。AI在大规模应用上带来巨大正面效益的想法似乎又回到了前台，而不是一两年前可能存在的那种末日论冲动。

我觉得AI治愈所有疾病正好落在你的专长领域。这是盖茨基金会在全球健康领域多年来一直在努力的事情。这似乎并不像只是告诉模型去治愈癌症那么简单。你必须做试验，必须生产药物，必须分发药物，必须确保它们有效。

你认为这将会如何发展？是和机器人建造我们的房屋一样的20年时间跨度吗？是更快，还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，这个月我们要做两周的战略审查，来决定明年在结核病、HIV和疟疾上如何花钱。我们用AI的方式非常棒，不仅在药物发现方面，还在于让这些模型正确理解非洲语言，这是我们上个月与60个合作伙伴宣布的一项计划。

医疗发现和交付将被AI极大地加速，这非常令人兴奋——更好的种子、更好的牲畜基因、为非洲农民提供天气预报，他们以前从未拥有过这些东西。所以是的，在盖茨基金会剩余的19年里，AI带来的这些是好事。

你认为这足以克服人们对当今所遇到的AI模型的怀疑或恐惧吗？因为这正是那些公司的想法。

不，得了吧。我认为说他们完全是在传递末日论信息、现在又转向了别的信息，这是不公平的。这两件事是深深纠缠在一起的。

AI最终将能够以某种方式模拟人类生物学，使你无需进行人体试验就能了解药物的副作用。我们还没有达到那一步，但在未来5到10年内，这些计算机模拟模型很有可能赋予我们这种能力。生物学非常复杂，AI在数据充足的情况下极其出色，而且有新的工具来收集并向其输入更多数据。它非常非常擅长处理复杂系统，所以它几乎完美适用于生物学。

但不，这并不意味着人们会对负面影响感到满意。好事来得有多快？你多快会看着你的医疗账单说：“哇，这真的很低”？或者你说：“我想买新房子，哇，这些房子真便宜”？好事确实需要时间。有些事情，比如网络攻击和就业市场问题，即使在未来两到三年内，你也会在这两个领域看到显著的负面影响。

在你的信里，你有很多关于如何阻止这些负面影响，或预防、至少减轻它们的想法。

减轻它们，是的。

“改善”或许是个恰当的词。

是的，正是如此。

而且它们并不小。你这里有一句话是这么说的：“我们需要一个远超9/11事件后美国国家安全应对规模的回应。”你想建立一个国际机构，设法让所有人都做正确的事。这些都是极具挑战性的想法。

绝对如此。二战时我们投下核弹，我们当时能预料到此后80年都不会再发生这种事吗？我会给我们在这一点上打个不错的分数。像关爱贫穷国家、帮助它们这类事情——尽管眼下我们对此的重视程度不如我认为应有的、也不如我们过去所做的，但我们在这方面做得非常好。这将比人类以往实现的任何成就都更具挑战性。

与核武器的对比中有一点让我印象深刻，这个话题最近在 Decoder 上被多次提及，那就是核武器是政府建造的。当然，他们有一些承包商，但这些都是政府项目，最终技术掌握在政府手中，我们从未让普通人拥有它。

把 Muse 放在核武器的背景下想一想。你认为推出像 Muse 和 Dots 这样可能没有相应管控的消费级智能体 AI 产品是个错误吗？

Muse 恰好由 Meta 的模型驱动，而该模型仍是闭源模型。我确实认为，允许人们通过开放权重移除所有安全防护，就其带来的网络和生物风险而言是不负责任的。

对于这些智能体，在它们的设置方式上会出现一些早期问题，但我从根本上认为人们会拥有个人智能体。Muse 是非常好的一步。我和 Alexandr Wang 谈过这件事，向他表示了祝贺，尽管它会面临挑战，但个人智能体将帮助人们把事情办成。

Muse 是第一个真正出色的消费级 AI 产品。人们普遍不太喜欢 AI 的原因之一，是他们体验的是廉价免费模型和 AI 概览，或者使用免费版 ChatGPT，而它会胡编乱造、对他们撒谎，但 Muse 确实能做事，是个优秀的消费级产品。

但我想知道——在核时代，我们并没有说：“每个人家里都会有一个核反应堆，而我们还没为它建好安全防护。”这里面有些道理。

当然，让每个人在家里制造天花或制造核武器这种想法，你可以模仿其中一些人的说法来调侃：“别担心安全防护。”那正是在采取这种立场。“我们对安全问题并不认真。”

但个人智能体是意料之中的发展。AI 真的很酷，就像我在智力上探索事物一样，甚至包括盖茨基金会的工作。我的能力大大增强了。但我同意你的看法，它会以这种个人智能体的形式触达更多人。

我们刚才谈论的所有模型实际上都运行在大型企业拥有的数据中心上。这里的一个论点是：“如果它们做了非常错误的事，你直接起诉它们就行，这会形成威慑，或至少是创建安全系统的激励。”

我不确定产品责任是不是正确的方向，但产品责任本身能让行业守规矩这一点已经被反复提及。另一面是，你完全可以买一台 Mac Studio，在上面运行一个开源、开放权重的模型，它想干什么就干什么。

我不确定这些责任该由谁承担，也不确定什么能控制或对齐那些开源模型的行为。你认为这是一个不断增长的风险吗？你觉得这能被控制住吗？

认为责任法是我们管理 AI 安全的方式，这种想法日后回看会显得荒谬。当坏人发动生物攻击时，你不会去法院说：“哦，好吧。”即便只是找出是谁在发动这些攻击，责任模型在各方面都失效，因为作恶的不是 AI 公司本身，而是那些尤其会拿走没有防护措施的模型并干这些事的人。

我们会比对待航空安全、药品安全和汽车安全更认真地对待 AI 安全。这是必然的。至于是否足够……这更难，比核武器更难，比任何其他领域都更难。

但对于一个运行在某人用随便一张 Nvidia 显卡攒的 PC 上的开源模型，你打算怎么办？

我希望对于超过一定能力的模型，我们能找到办法，要求这些模型中维持防护措施和监控。我承认，随着时间推移，如果我们不尽快决定这么做，就会有一定水平的能力流散到你看不到的阴暗角落。

但你在哪里施加限制呢？

一个主权国家说，具备高级网络攻击能力的模型必须内置防护措施。

当然。

你可以开放到自由的程度，也可以开放到完全可定制的程度，但你必须留在平台上，当你定制它时，平台会检查你是否在定制中移除了防护措施和监控，并拒绝让你这么做。所以这意味着主权国家要出面说：“这些可信平台能否履行这一功能？”

我问得非常具体。你会在技术上把这项监管落实在哪里？

通过美国的法律。

当然，但你得把它放在某个地方。是放在 Hugging Face 上吗？那里分发其中一些模型。还是放在芯片层面？

不，正是我说的：超过一定能力的模型只能在那些能证明在定制过程中不会移除防护措施的平台上运行。

让我拆解一下，也许我没太听懂——在这种情况下，Mac Studio 算是一个必须关注自己运行什么代码的平台吗？

除非你想办法监控到那台客户端机器，否则你不会让超过一定能力的模型被复制到客户端机器上，而这是非常可行的。

但短期内，这些真正的前沿模型大多会更多地运行在 Hugging Face 上，或者你可以把它们放在 GitHub 上。你可以让各种各样的人从事提供维持防护措施的平台的业务。

只是想确认一下，看起来你会在平台和分发层面执行监管，而不是在芯片层面。

不是在芯片层面，不是。

因为在我看来，到了某个时候，即使是廉价、免费的开源模型，也会变得和今天的模型一样强大。

没错。

然后你就会面临一个大问题。

如果这些是开放权重，以至于所有防护措施都可以被移除，那么你将会面临非常高级别的网络攻击和生物攻击。然后你可以说：“好吧，让我们重写今天所有的代码，使其更不容易受到攻击，或者让我们以非常深入的方式进行生物监测。”我认为除了这些其他限制之外，我们还需要做这些事情。

我们又在提议很多新能力，对吧？

是的。

我们将对 GitHub 施加一些限制。GitHub 目前对其可分发的代码没有太多限制。它有一些限制，但没有这类限制。

当你把一个能够进行深度网络攻击或生物攻击的最先进模型放到 GitHub 上时，它会说：“我已经向美国政府证明，我不会让人们自定义移除防护措施。”

我不认为我们目前生活在一个高度信任机构的时代。对我来说，感觉就是不是这样。事实上，我们主要是把它们拆毁了。埃隆·马斯克出现了，他拆毁了美国国际开发署。我知道你对此有强烈的感受。

那是个错误。

我们主要是拆毁了我们的机构，无论好坏。

不，那有点太过了。我们的机构——

它们被削弱了。

它们有些被削弱了，是的。

有些被削弱了。说得真好听。对它们的信任非常低。我们可能还能再花整整一个小时来讨论 AI 药物发现，以及相当一部分人口是否会信任这项工作的产品，因为他们今天不信任制药公司。

他们今天不必信任制药公司。他们必须信任 FDA 的审查流程。

我不确定他们也信任那个。总的来说，信任度很低。

那么他们可以不服用这些药。当他们得了癌症，他们可以说：“不，我不想吃那种抗癌药。”据我所知，人们确实会吃药。这是一个蓬勃发展的行业，人们服用它们是因为它们已被证明有益。

我想说的是，现在感觉对机构的信任，特别是在美国，但在世界各地，都在下降。你正在提议一类新的机构，可能是一类新的全球机构，它们可能会施加新颖的限制。

到了某个时候，我们需要说开源模型、开放权重模型不能做某些事情，政府将介入其中，决定它们是否能做这些事情。

不，他们会确保平台不允许防护措施被移除。

你如何重新获得机构信任来实施这些控制？

假设我们不这样做，我们让模型去进行网络攻击和生物攻击。你认为这会增加信任或人类福祉吗？那就是替代方案。

这就是为什么我在问这个问题。这就是为什么我问我孩子和虚无主义的问题。我真的对此感到疑惑。

我不确定我们能否成功，但我向你保证这是可行的。FDA非常复杂。航空安全法规非常复杂。现在有了AI，你可以在这些机构中用同样数量的人做得更好。

It’s this weirdly recursive thing where AI will be involved in AI safety and auditing and a variety of things like that. Yes, this requires taking action, and I’m suggesting it’s only a matter of how bad the incidents are before we take action.

I can sense your urgency about the harms. I can also sense your enthusiasm about the benefits over the long term, but we’re sitting here talking about trust. We’re going to put this on YouTube. I know you know what some of the YouTube commenters are going to say.

They’re going to say, “Why should we trust Bill Gates? He had a relationship with Jeffrey Epstein.” How do you respond to that? Is it that the urgency is over that, or do you have a more specific response?

People shouldn’t take everything I do at face value. I have all sorts of mistakes that I’ve made, weaknesses that I have, biases I bring to these questions. They ought to just take what I’m saying and add it to the voices.

I’ve been in the technology industry thinking about AI my whole life, writing software, thinking about the power of software. I admit I was very fascinated as AI started to finally make progress. It was actually pretty slow until recently.

I’m amazed and it’s actually helping me do my job in some incredible ways. But yes, I’m just one voice, an imperfect voice. I doubt you’ll find a perfect voice, but people can judge it however they like.

I would say voices people trust are in short supply.

I agree with that.

When you go and talk to the people in this industry, it’s a bunch of young CEOs building huge companies. That is something you have some experience with. Do you think they’re going about this the right way? Do you think that they have the right intentions?

Our problem today is not in the industry. Our problem is not that Sam Altman, Dario Amodei, Satya Nadella, or Sundar Pichai don’t understand that there are some grave challenges here. I talk less to Elon than other people, but even his public statements about summoning the demon are exactly what we’re discussing here.

Why is there not the political energy to do the things you’re suggesting?

As you said, the government didn’t fund this work. This is private sector company work. The government is not the key customer for this work, not like rockets and weapons and things like that. When somebody comes along and says all other previous technology advances are trivial compared to this one, people should have a high degree of skepticism about that.

Is life really going to be significantly different 10 years from now because of AI? People should say, “Those guys just got overexcited about this one thing.” But I’m here saying, with whatever credibility I have, that absolutely this is the most profound — both in terms of good and in terms of bad — technology ever invented. I’m not financially motivated on this. I’m suggesting some precautions and safeguards are absolutely needed.

What do you make of the difference in the tenor of conversation in the United States versus in China, where it’s often reported that optimism around AI is much higher? Why do you think there’s a difference there?

Most of those people don’t spend that much time in China. The concern about job markets in China is very, very high and you can’t characterize China as one monolith. There are the private companies doing the AI work like we have in the United States and then there’s the Chinese government.

For example, when it came to whether crypto should be allowed, they said no. Should young people be gambling all the time? They said no. When it came to whether kids should have relationships with AIs, they said no. On a lot of these things, including usage of AI, they’re showing a willingness to do things on behalf of society.

The fervor is a tiny bit less there, because their economy isn’t as AI-centric as ours is right at the moment. In the end, [when it comes to] the human value of not wanting cyberattacks or bioterrorism or trying to figure out what do we do when jobs go away, I don’t think there’s some difference between Chinese people and Americans and all the rest of the humans in terms of how they’re going to view this.

Do you think it’s going to take something actually bad happening to get the political capital of the United States to make these changes?

Probably yes. We get ready for earthquakes because there are small earthquakes. I thought after we had the COVID pandemic, that would cause us to be more ready for future pandemics. That one didn’t work the way I expected.

But usually that galvanizes our attention. Over the next several years, certainly in the cyber domain, because there’s a business model there, you will see a lot of attacks different in terms of scale than anything we’ve seen in the past.

There is one thing that, again, I’ll come back to and I just want to end here. I am worried about young people and nihilism. I sense it in our audience all the time. We have a young audience.

There are some things about AI that are just legitimately the coolest things I’ve ever seen a computer do. There’s something there that can be fun and interesting and fascinating and change your entire relationship with the very notion of living in a digital world.

Then there are obviously horrible things. What I see more often than not is a sense of distrust, not just in institutions, but also in the companies, in capitalism itself, in the notion that we should change how we tax labor and capital, which I know is another one of your ideas. The idea that, I don’t know, we should even have more kids. It’s all done. They’re going to kill us all and we should just take a beat.

There is a lot of nihilism out there. I feel it very keenly. If you were a young person today and you were listening to Bill Gates say it’s about 20 years of disruption and at the end of it, robots might be building houses, what would you hold onto as a source of hope?

Throughout human history, we’ve been dealing with the shortage of food and disease and war. [Historian] Yuval Noah Harari writes eloquently about the past. And it is ironic that now that we have this sort of Pandora’s box that will take food shortage — which is still a real thing, not in the U.S., but in Africa — will take diseases, where human suffering is unbelievable, and solve all these things, it comes with it such an effect on jobs and our sense of unique contribution.

I think, “The way I orchestrate resources to eradicate malaria, I’m pretty unique in my life experience that lets me do that.” But when the AI says to me, “No, I’m better than you. You go play pickleball and I’ll get back to you. I’m going to take care of this,” it’s humorous, but it’s not humorous. For somebody who is young today and wants to make a unique contribution, it is very intimidating that the AI is so powerful.

That’s why the crisis in the math community is going to be mirrored everywhere. If you’re in your twenties today, during this 20-year period, you can take the things AI still can’t do, and you can use AI and you can have a lot of good impact, and you can suggest policies. We may need to develop the taste to actually not use technology to its maximum.

When I was talking with Claude about human-reserved job categories and trying to get that up to, say, 40 percent of the labor market — so you could use early retirement, restricted work weeks, and things like that to still get something like we have today — its response was always, “You’re artificially restricting the AI from doing these things.” I couldn’t get to a very high percentage without doing that.

We’re going to have real choices. We have had groups — not large groups, but like the Amish — who don’t live at the technology frontier. A lot of humanity may choose not to live at the technological frontier because of things we get from helping each other or coming up with unique ideas.

On the idea that young people are concerned because of the disruption that’s coming — that even in the very best case of how we manage AI, this is going to be as tumultuous a period as there’s been in human history — I hate being the bearer of concerning news on this, but it’s even worse not to tell people that this is coming. We have choices as humans to make about how we shape it.

Bill, I appreciate you sounding the alarm and I appreciate you being on Decoder. Thank you so much.

Thank you.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}