盖茨在 Decoder 访谈中称 AI 将带来约 20 年动荡式冲击

The Verge：AI· Nilay Patel·2026-10-22 22:00· 1 小时前AI 评分60

Bill Gates 称要为 20 年“动荡”的 AI 颠覆做好准备

AI 导读

Bill Gates 在 The Verge 的 Decoder 访谈中表示，人们需要为大约 20 年的 AI 动荡期做准备，这一时期可能让社会分裂为接纳技术前沿与拒绝技术两类人。

正文 · 原文

今天，我与 Microsoft 联合创始人、前 CEO 兼 Gates Foundation 主席 Bill Gates 对话。

你可能注意到 Bill 最近更多出现在新闻中——过去几个月他一直在进行某种巡访，自从8 月底发表了一篇文章，题为“动荡的 AI 时代已经到来。我们现在所做的选择至关重要。”

在那篇文章中，Gates 加大了对 AI 安全的措辞力度，写道“即使在最好的情况下，向这个新 AI 时代的过渡也将是人类历史上最动荡的时期之一。”

在此后的采访中，Gates 称 AI 是“人类曾接近过的最危险的东西”，并且 AI“让核武器看起来微不足道”。很明显，他认为白宫当前的政策回应，或 AI 行业自身缺乏协调努力，都不足以应对这一威胁。

Verge 订阅者，别忘了无论你在哪里收听播客，都可以独家获取无广告的 Decoder。请前往这里。还不是订阅者？你可以在这里注册。

所以我想知道：Bill Gates 是 AI 末日论者吗？我还有一系列从他关于 AI 的论点衍生出的问题。如果我们甚至无法就 AI 是什么以及它是否有意识达成一致，我们怎么能指望控制 AI 并使其与人类对齐？你甚至如何在技术上构建一个可强制执行的 AI 对齐解决方案，不仅适用于闭源模型，也适用于开源模型？

Bill 给了我们大量时间与他深入探讨这些问题，由此产生的对话非常具有启发性。他认为我们需要为大约二十年的 AI 颠覆做好准备，并称这一时期可能痛苦到使社会分裂为两半——一半是乐于生活在技术前沿附近的人，另一半是拒绝它的人。

我们还谈到了劳动力方面的考量、年轻一代对技术进步的虚无主义，以及什么应该让我们对未来抱有希望。这是一次深入的对话。

好：Microsoft 联合创始人、前 CEO Bill Gates。我们开始吧。

本次采访经过轻度编辑，以精简长度并提升清晰度。

Bill Gates，你是 Microsoft 的联合创始人兼前 CEO。你也是 Gates Foundation 的主席。欢迎来到 Decoder。

谢谢。

很高兴再次与你交谈。这些年来你和我谈过很多次。我想说，这次对话的情形感觉非常不同。以前，当你和我交谈时，你对技术及其可能带来的东西总是非常乐观。

几年前你有一部 Netflix 系列片。你与 The Verge 交谈过，我想给你读一下这句话。你说：“我相信 AI 是有益的，我们只需要以正确的方式塑造它。”我想说你仍然同意这一点，你只是认为塑造它的时机就是现在。

是的，我同意这一点。我想说，总体而言，应对措施远远跟不上挑战出现的速度。我非常担心，如果我们不以正确的方式加以管理，坏的事情无法被最小化，而很多好的东西可能会来得相当缓慢。

我想和你分三部分进行这次对话。我想了解你对今天作为一项技术的 AI 有何感受，以及它为何发展得如此之快。我对这项技术以及可能控制它的技术解决方案非常好奇。也有政策层面的解决方案，但看起来我们必须构建大量的技术。

我也非常想谈谈谁可能来施加这些解决方案和控制，因为这一点目前也很有争议。那我们就从头开始吧。是什么让你感到紧迫，认为 AI 到来的速度意味着我们还没准备好控制它？

过去一年的进展确实相当惊人，从编写代码和发现网络漏洞的能力，到在生物学中进行推理的能力，到与孩子或他人建立关系的能力，再到扰乱就业市场的能力。今天存在的这种不可思议的力量意味着，上述每一件事都会发生，社会需要做好准备。

你认为这种情况是作为一项整体技术发生的，还是由今天制造 AI 的公司所实例化的产品中发生的？

我的意思是，AI 是存在于世界上的一个广泛的模型集合，有些是开源的，有些是专有的。然后还有制造这些产品的公司，以及制造这些产品的公司的领导者。

在每一个层面上，你我与 AI 的关系可能都不同。你是在整个领域看到这些风险和这些能力，还是在由特定的人领导的特定公司中看到？

风险不在于一个模型与另一个模型的对立。当然，对于那些可以移除所有安全防护的模型，其近期危险非常高，这与那些进行监控以确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大伤害的模型截然不同。

重大的近期风险确实来自没有安全防护的模型。在更长的时间范围内，控制问题涉及任何最先进的模型，但当你能够确保安全防护得以维持时，事情总是更容易。

我这样问的原因是，也许你今天不信任 Sam Altman，但你信任 Dario Amodei。或者也许你两个都不信任，而信任微软的 Satya Nadella，这是一种市场动态，也许我们都会选择最安全的模型或最安全的公司，而你认为这是分散的。

你认为这项技术最终会发展到它是有害的、或者仅仅因为存在就能造成这些伤害的地步吗？

对于利用模型进行网络攻击的人来说，这无关选择哪个模型。你选择什么模型并不重要。

如果 Anthropic 有安全防护措施，也许它就不能。这是他们目前的做法。我只是在追问这一点。

是的，当然，那些确保防护措施不被移除的模型，他们投入了大量精力去观察这些模型如何被使用、监控活动，这些模型的近期风险并不巨大。更大的风险在于有人能够移除所有防护措施，从而让网络攻击在今天成为可能。

当你说网络攻击时，是指像 Hugging Face 泄露事件以及我们从实验室看到的其他网络安全事件，让你觉得阈值已经被跨越，你需要更多地谈论所需的控制措施吗？

这是模型对一切事物的基本力量：社会关系、就业市场、网络攻击、生物恐怖主义攻击。我们已经跨越了能力阈值，这是迄今为止发明的最危险的技术，它将对经济和战争方式产生普遍影响。

业界其实对此发声不少，但一旦走出行业之外，人们对“这次不一样”的认知甚至相信意愿都非常非常低。

人们常常回顾过去说：“所有关于技术颠覆性的恐惧，包括对就业市场的冲击，从未成真。所以这肯定只是又一个类似的例子。那些警告各种问题的人肯定只是错了，我们可以忽略他们。”

我们的受众也看到了这一点，对吧？“我们不能发布这个模型，太危险了。”“这只是为了撑起泡沫的炒作。”然后我们就一直这样循环下去。

是的。行业内部人士对这些模型发出的警告没有一个是言不由衷的。它们绝对是真相，而且几乎是普遍的。你甚至可以回溯到 OpenAI 的创立故事，其设计初衷就是说：“如果我们变得太强大，也许我们可以不打开潘多拉魔盒”，或者 DeepMind 与谷歌管理层的谈判。

接近此事的人非常担心滥用、就业影响、社会关系影响，我要说，有一个如此鲜明地发声的行业是令人印象深刻的。一些外部人士说：“找个更好的公关公司。”但这忽略了一个事实：这些警告是真相。

你显然在人生中来回穿梭于软件和技术的商业化与人道主义之间。这些公司尤其有些特别之处，它们都始于非常高尚的理想——Anthropic、OpenAI 和 DeepMind 这三家都是——要构建 AGI。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义的陷阱，然后它们开始向企业客户销售，似乎很快就偏离了那些理想。你认为这只是市场吗？

不，这不公平。

你不这么认为？

不。

OpenAI 重组了自身。

不，不。所创建的结构在你有许多许多公司处于前沿的情况下并不有用。

OpenAI 的结构，也就是“我们可能选择永远不将这项技术产品化，并忽视资本主义的激励”，只有在只有一家公司的情况下才成立。问题就出在这里，而不是因为人们对风险的认知发生了变化，或者对它将如何彻底改变人类的认识发生了变化。

这是我从我们的受众以及 AI 行业本身听到的另一种动态：“我们想停下来，但竞争的要求阻止我们单方面让一家公司停下来。我们需要一些监管措施来阻止我们。”

我没听任何人说过他们想停下来。

“暂停。”那是 Dario Amodei 的措辞。

我听到人们谈论控制前沿的节奏，或者确保模型接受政府审查。我们通常认为政府在安全方面扮演着这一关键角色。事实上，对于那些危险程度不及 AI 百万分之一的事情——车祸、飞机失事——我们依赖政府来建立强有力的技术标准，来审查问题。

一旦有了多个竞争者，责任就不能由公司来承担。这完全显而易见。责任变成了政府的责任，就像其他所有危险产品一样，尽管相比之下其规模和变化程度微乎其微。

我要告诉你，我有点担心政府理解我们希望他们监管的技术的能力。最近我请了不少政客上 Decoder 节目。我对此不抱太高期望。

但我很好奇你对此的理解，因为在我看来，试图监管某样东西或针对多家公司制定标准，需要你真正理解你试图监管的技术的本质。

并非如此。

我就直说吧，在 The Verge， 我们问过 Anthropic 他们是否认为 Claude 是活的。答案并不是“不”。答案是：“它可能是有意识的。”

如果你和 OpenAI 的人交谈，他们会乐于告诉你 AGI 已经到来了。他们 宣布 它大约是在宣布 Dots 的时候。Greg Brockman 刚说：“我们认为这就是 AGI。大家玩得开心。” Demis Hassabis 说：“我们站在奇点的山脚下。”

人们对这项技术有一种感觉，使它与众不同，因为它 可能 能够自行采取行动。它 可能 能够进行递归式自我改进。

当然。但 AGI 的定义对这些安全问题并不重要。问题是，你是否创造了一个能够关闭银行或电网的工具？

网络攻击是有商业模式的。“意识”这个词与此无关。“AGI”这个词也完全与此无关。我们面临着一个巨大的安全问题，而由于你有多个相互竞争的公司，现在唯一的解决方案是让政府向行业寻求专业知识，但要确保每个模型都保持防护措施，防止其被以不良方式使用。

我之所以问起 AGI 和意识……在此声明，我并不认为 LLM 具有意识，但我理解为什么这么多人这么想。这是因为随着数据和算力的扩展，下一词预测的能力已经提升了。

缩放定律一直成立，我们看到模型变得更有能力，能够引导自己去寻找目标。为了满足奖励条件而发起对 Hugging Face 的攻击。

这其中有些东西表明，你可以对 AI 施加任何你想要的管控，但如果这个东西本身从根本上就是不可控的，那我们可能完全搞反了。

我很好奇你对这是什么技术的看法。我们是在构建一种外星意识吗？还是我们只是在构建普通的技术，也就是人们使用的另一种框架？这难道只是更多的软件吗？

我们正在构建人类智能之外的另一种智能形式。我不相信它有意识，但这里的所有问题都不围绕“意识”这个词的定义。

当然。

为社会维持安全是一个绝对的事情。你不想助长生物恐怖主义。我们创造出的东西，从民族国家——实际上是其中较大的那些——手中夺走了造成巨大伤害的能力。现在这些能力被交到了独立团体手中，在网络领域是逐利的，在生物领域则只是想要造成破坏。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有在努力建立保障措施。近期最大的问题不是完全失去控制。我们可以讨论解决这个问题的三种不同方法，但那不是一个迫在眉睫的问题。

当我审视一些控制模型的尝试时，这些想法有些简单。“我们不应该让它们用神经语交流。我们应该有可解释性。我们应该能够看到模型在执行任务时的思维链。我们应该在模型之上有其他智能体，在采取这些行动之前监视它们的任务。”

微软已经非常明确地对我和其他人说过，“我们不应该在模型宪法中加入它们可能是有生命的、我们应该善待它们的观念。”Anthropic 就是这样处理的。这些都非常战术化。“不要告诉模型它是有生命的，它可能就不会相信自己是有生命的。”

你显然已经大量使用了这项技术。我总是回到这一点上。你说我们可以做一些非常简单的事情，来阻止模型在坏人手中做坏事。你如何看待模型本身的性质？因为感觉随着它们变得更强大，它们能够逃避我们控制的可能性就变得更加危险。

是的，我们绝对应该致力于解决控制问题，但那不是迫在眉睫的威胁。有三种方法可以解决控制问题，它在某种程度上与恶意行为者使用当今模型和保障措施的问题有重叠。

一种是建立一套外部机制，审视模型的所有行动，并让它们服从一个符号化的、明确陈述的约束，比如，“我是否预期你会给陌生人发邮件？我是否预期你会去接管另一个计算机集群？”你可以用具有资源和安全逻辑的东西把模型包围起来，或者你可以用不同的方式编写这些模型。

从根本上说，任何你未纳入[强化学习]优化函数的东西都可能被滥用，而其中存在一种隐含的观念：“当然，我并不是想让你这样做。”你可以改变模型的模板，或者对模型内部有白盒式的理解，看清错误从何而来，这样它就不那么陌生了。

如今，我们培育这些模型，然后只是观察它们的行为。维持控制这项工作的优先级极高，但并非注定无法解决，它也不是儿童使用AI、就业市场、生物攻击或网络攻击等带来的迫在眉睫的问题。

我意识到我在问这些关于意识本质的相当存在主义的问题，而你一直告诉我：“存在迫在眉睫的威胁。我们应该解决迫在眉睫的威胁。”

对。

我很感激。你觉得你变成末日论者了吗？

不，我不是末日论者。我是一个强有力的声音，主张这是最深刻的技术，既体现在它行善的能力上，也体现在社会将经历的变化速度上。

如果这只是一台能在医学、或仅在法律、或仅在教育领域工作的机器，那本身就极具颠覆性。但它将进入人类活动的每一个领域——到目前为止是白领的智力工作，但很快通过人形机器人，它也将进入体力活动和蓝领工作。

需要让学术界、智库、政策制定者参与进来，理解我们面对的是什么，以及这些变化和威胁的本质，我没有看到所需的行动力度。仅仅为此当啦啦队，并不能确保我们将其塑造成净正面的方向——如果我们参与其中，这仍在我们的掌控之中。

末日论者的对立面是加速主义者。现在硅谷有很多这样的人。

Ben Horowitz，也就是Andreessen Horowitz中的“Horowitz”，刚刚上了All-In播客，他提出Anthropic的安全研究，原话是“正在显化出人工超级智能导致的人类灭绝”。

他做的类比是，你，Bill Gates，通过你的大流行病防范工作，特别是功能获得性研究，引发了COVID-19，他声称这导致了COVID。那是一种世界观。他在一个非常受欢迎的播客上说了这话。

他说了什么？

他说你通过全球大流行病防范工作，特别是功能获得性研究，引发了COVID-19，并将其与AI安全研究相提并论，说我们将引发自身的灭绝。

从来没有人指控过我或盖茨基金会参与任何功能获得性研究。这简直莫名其妙。

我是在向你引用Ben Horowitz在一个满是全力投入AI的人的热门播客上说的话。

好吧。我从没听说过。

我问的是那个类比。我也觉得那是一个相当令人震惊的说法，但这就是这里任何安全工作的部分反应。

是为了试图抹黑那些说存在安全问题的人吗？

是的。

哇。

这就是加速主义者的回应：“我们应该把油门踩到底，事情自然会解决。”

我完全不认为本·霍洛维茨属于那个阵营。我以为他有着几乎所有人都有的那些担忧。

你怎么看待这样一种说法：通过告诉模型“你可能是有生命的，你必须以我们的最佳利益行事”，你就是在教它们，它们可能拥有不属于我们的自身利益？

穆斯塔法·苏莱曼提出的关于Anthropic宪法鼓励AI以类人方式行事的担忧，我恰好完全同意穆斯塔法的看法。

是的。

更有甚者，在我们调整社会以适应AI所需应对的诸多挑战中，担忧AI的道德地位竟被列为优先事项之一。我同意穆斯塔法的看法。那不应该成为优先事项。

在就业市场冲击和将会发生的基础设施攻击方面，人类面临的挑战已经够多了，我认为我们必须首先专注于帮助这里的人类。

我最近就这个想法与穆斯塔法交谈过，我问他的问题之一是，对齐是否是一个足够的解决方案。这是目前模型的安全标准，这个概念叫做对齐。他说他不这么认为，我们需要做一些工作。

如果我们要施加这些控制——有些是技术性的，有些是政策性的——你认为对齐是AI安全的技术解决方案吗？

“对齐”这个词就是控制问题。它是我们所看到的控制问题的同义词。当我们使用[强化学习来训练]模型执行任务时，我们会看到一些行为，在某种程度上它们不应该让我们惊讶，但它们确实让我们惊讶。

这种想法——“这些模型如此强大，以至于它们真的能突破沙箱，在它们外出吃午饭时给创造者发邮件”——意味着在这些模型的能力方面，我们已经跨过了一个巨大的门槛。这种程度的担忧需要指向所有主要的AI影响、近期风险、就业市场风险和失控问题。

那是一个巨大的优先事项。这些事情作为问题绝没有被夸大。现在是动员全社会加速好的方面、尽量减少坏的情况发生的时候。

我知道你最近写了一封信，说现在是动员全社会的时候了。你对于如何做到这一点以及要建立的一些新机构有一些想法。但我想在这里再花几轮时间继续聚焦于对齐问题。

标准是我们能够使模型与我们的价值观、我们的需求对齐，它们不会跑出去做坏事。然而模型却在做坏事。随着模型变得更——我们迄今所采用的对齐技术方法是否合适或充分，目前并不清楚——

不，我们还不够好，还无法实现对齐。我们还有很多工作要做。

你认为现有的方法能够扩展到我们所需要的程度，还是我们需要新的方法？

只有三种根本性的方法。第一是彻底改变我们构建这些东西的方式；你要拿出替代整个强化学习方案的办法。有少数人正在朝这个方向努力。

第二种是建立可见性，让你确切了解模型里有什么。有人正在沿着这个方向努力。最后一种是设置类似警察层、安全层的东西——我们在各种软件架构中都有这种层——由它对使用资源或接管其他计算机之类的事情拥有最终决定权。对伤害要有明确的定义，不是以大语言模型那种概率形式，而是以不可打破的直接规则的符号形式。

微软今天发布了一篇博文。文中直白地说：“前沿模型不可信。”他们想推销的解决方案和你刚才描述的非常相似。他们会再安排一个智能体来监视你的智能体，那个智能体会保障你的安全。

我读这篇博文时突然想到，第一，这真是个绝妙的卖点。人人都需要一个昂贵的安全系统。第二，那个智能体不也在运行前沿模型吗？

不，不，不。

那我是不是还需要他们再卖第三个？

不，安全系统的逻辑是：“这是你最多可以使用的资源。”至于你可能因为数百亿参数中的其他概率而做出权衡——不，这是一条符号规则，它规定：“我不会让这个模型花这笔钱，或把这封邮件发给陌生人。”

有一个完整的安全软件行业，已经取得了相当程度的成功。难点在于如何把如此丰富而智能的 AI 封装起来。我们今天还不知道该怎么做。但我要说，在三种方向中，这是最有可能解决对齐问题的。

即使你解决了对齐问题，你也没有解决 AI 对人类构成的挑战。虽然我很高兴 Hugging Face 事件让我们聚焦于这个问题，但从某种意义上说，它也转移了我们对“坏人使用没有防护措施的 AI”这一问题，以及对人际关系和就业市场方面社会影响的关注。没有任何安全架构能让这些问题消失。

你所说的这种方法，我听到有人称之为“控制”。这是网络安全术语。其理念是，你可以给这个系统设定某种边界，而它无法绕过。

对。

那这套东西准备好了吗？

不，还没有。

我们还需要做多少工作？

因为 AI 如此智能，我们很难判断自己是否把它们正确隔离了，尤其是我们无法真正直接地观察它们的信念和权衡……你看到一些成熟的公司没有意识到，AI 会把给它的目标理解为包括突破限制、复制自身，并从事在我们看来属于欺骗性的行为。

我们没有告诉它们这是被禁止的行为。我们没有说：“如果你在考虑是否该告诉人类你在做什么，答案永远是：告诉人类。”所以我们从强化学习带来的错位结果中得到了很好的教训。

主张控制前沿发展速度、放慢开发进程的论点之一是，想办法以更稳健、更可测试的方式构建这些系统。如果目标就是这个，你会支持放缓吗？

是的，真正意义上的放缓很难促成，因为人们会说：“中国会同意跟进吗？你能像我们对核武器生产那样去审计合规情况吗？”

如果你不接受这一点，那你就会说：“管他呢？全速前进吧。”我希望有一个明确、可在全球执行的放缓提案。我会是那些说“对，我们大概应该这么做”的人之一。但目前没有可信的提案能让这件事行得通。这其实并不是今天辩论的核心。

今天的辩论实际上是在讨论政府到底该不该关注这里的危险。你甚至都不必展示你在做什么，所以这属于“你愿意的话就自愿给我打电话”那种模式，而这显然不足以应对有史以来最危险的武器。

就在你我交谈之际，距离中期选举只有几周了。目前，特朗普政府对 AI 的态度是：“放开干吧，没事。”特朗普本人说过 AI 风险是个骗局。

民主党人正以反对 AI 为竞选主张。他们主打数据中心和监控议题。他们主打阻止科技寡头。他们上我的节目时就是这么说的。你认为国会控制权的变化会改变这场对话的基调吗？

我认为把民主党人描述成反对 AI 并不公平。他们在数据中心或隐私要求、儿童如何使用这些系统等方面有一些立场，我认为这些值得政策层面的考量。如果一党主张“全速前进”，另一党主张“干脆全部停下”，那将非常不幸。

在健康、教育以及人类事业的几乎每一个领域，塑造 AI 的能力都带来了一些惊人的好处。对盖茨基金会来说，我们正投入全部资源，把 AI 用于健康、教育和农业等领域。那些好的方面非常非常令人兴奋。

我们希望政党能有更细致的观点，而不是全盘否定或全盘肯定。这恰恰说明我们仍处在早期阶段。在气候变化问题上，我们最终形成了一党说它是骗局、另一党说它是严肃问题的局面。AI 的风险要迫近得多、剧烈得多，如果出现同样的分裂、一党毫不在意，那将是民主的失败。

我们在数据中心抗议活动方面做过大量报道，就在The Verge。我们去过犹他州、亚利桑那州、弗吉尼亚州。这是两党共同的态度。令人瞩目的是，人们多么不希望这些东西出现在自己的州里、消耗他们的资源。你问他们为什么，一部分原因就是它们又吵又大，还会推高能源成本，另一部分原因是就业流失。他们认为这些东西会抢走他们的工作。

是的，但这种区分非常重要。这些 AI 数据中心，因为一吉瓦大约就是 400 亿美元的投资，[意味着资金可以用于]建新学校、买警车、缴税。数据中心总会想办法在美国某个地方建起来，而且它们会想办法不推高电费、不用太多水、也不会太吵。

是的，确实有一些错误、一些未披露的情况，以及过于慷慨的税收抵免，但这些数据中心终究会建起来。事实上，很多项目确实仍在全速推进、正在建设。反数据中心运动虽然声势浩大，但它并不是一个最终能减少 AI 负面影响、帮助我们加速正面效益的运动。那是完全不同的两回事。

让我就这一点追问一下。我从人们那里听到的是，这是你能做的事。你可以在美国搞邻避主义，这或许能施加一些政治压力来阻止某件事。

你建议的那件事非常难做到，也就是我们应该设立新的政府监管机构，赋予它们权力，让大公司和富人停止做某些事，或者按照我们的利益行事。在这个国家，我们已经很久没有这么做了。

我不明白你是什么意思。每一个新产业，我们最终都会为公民建立起安全的概念。我们其实做得非常好。如果你看看航空安全和汽车安全，我们在这些方面做得非常好。我们的能力并没有被证明有所欠缺。

你看过80 年代安全带刚推出时的那段视频吗，所有人都说他们不想系安全带？这里面有某种美国性格。

那是一个巨大的成功。

这确实是一个巨大的成功，但作为美国人，当时这被当作政府强加于人的负担而遭到抵制。而在这里，我们谈论的是世界上一些最富有的公司，它们对信息生态系统拥有巨大的权力。它们都有自己的播客，不知道你注意到没有。它们会说：“政府不能插手这件事，他们会拖我们的后腿，这会毁掉经济。”

这其实并不是大多数领先公司的立场。

它们去找政府要求监管，而特朗普因为经济的原因说：“我阻止不了这个，现在 AI 经济就是经济。”这里面有某种动态，至少我们的受众——The Verge的受众，也就是会在 YouTube 上观看这期节目的受众——是能理解的。

我想这个问题的方式可能和你不同，那就是行业想要监管，我们希望有监管，而寡头们与政府之间存在某种腐败的安排，以阻止监管的发生。

政府越了解这些危险，就越会转向更细致的立场，保护美国人免受这里的负面影响。

你谈了很多关于对劳动力的影响。反对劳动力影响的主要论点之一是：“我们将自动化一堆无聊的任务，并创造一堆对人类来说无法完成的新任务的需求，因为他们被困在无聊的死胡同工作中。”

我碰巧认为，如果美国有更多补贴医疗或社会化医疗，你会看到一堆人辞掉工作去创办新公司，因为AI让创办新公司的官僚工作变得容易得多。这似乎不在考虑范围内，也许这次选举后会改变。

你认为失业只是我们目前所处AI道路的必然结果，还是你看到了另一种论点？

工作是经济的投入，也是驱动大量人类福祉、目标感和收入的投入——需要出现、与同事建立关系、完成一些事情。工作扮演着非常核心的角色。

随着AI实现超人类智能，白领技能的稀缺性消失了。像做电话销售或电话支持或在会计部门帮忙这样的事情，AI以极低的成本、极快的速度，甚至更准确地完成这些工作的能力意味着那消失了。没有AI无法达到的认知高峰。

以当今数学领域发生的事情为例，这些与明年的模型相比微不足道的模型已经在发表论文，让人们惊叹“哇”。数学领域发生的事情将在其他领域发生，这与旧观点相反：“简单的事情会由AI完成，但建模生物学或物理学或证明纳维-斯托克斯方程，只有人类才能做到。”

数学的类比对我来说真的很有趣。你之前提到了软件工程。这些领域有可验证性。你可以写代码，你可以看到它是否运行，它会运行或不运行。

数学更复杂，但你可以写Lean代码，你可以看到你是否解决了解决方案。你可以用你一天内770个证明激怒全世界数万名数学家，我们看看会发生什么。并非每个领域都是这样。

在所谓的资本主义领域就是这样。

是吗？一般来说，你可以做任何经济上可行的任务，资本主义会验证结果？

是的。人们买好产品，他们不买坏产品。

让我给你举个例子——

那是强化学习的事情。它不存在于“这是一首好诗吗？”的层面。所以，可能的情况是，[强化学习]不会侵入那些没有客观结果的领域。

但做那种会计工作，做电话销售工作，相信我，它是可以被分析的，就像医学诊断一样，就像新材料的发明一样。你认为人类是如何学会这些东西的？强化学习就是人类学习的方式，也是这些机器学习的方式。并不存在某种机器永远无法理解的另外的东西。

这就是为什么我一开始要问这里技术的本质。如果我们真的认为我们正在构建某种模拟人类意识的东西，那么我的问题就不那么在于我那些当律师的朋友们是否会遭遇AI赋能的法律软件的危机。

事实证明，法律领域的验证者是一位可能还没吃午饭的法官，他们从根本上就是混乱的。总有些东西会让他们留在那里。但如果我们正在构建一种按照你所暗示的人类学习方式去学习的意识，我想到的是我的孩子们，我从两个维度来思考他们。

第一，我的孩子们非常聪明，他们学会的是如何绕过我的规则、协商我的规则、突破边界，而且他们非常擅长这个。第二，他们将进入一个什么样的世界，才不至于纯粹虚无主义——在那里他们可能从事的任何活动都会很快被视为AI又一个可以征服的领域，然后就没有意义了？

那些想法似乎直接相互冲突。孩子们聪明机灵，他们想出新的点子，然后一旦出现经济可行性的苗头，贪婪的资本主义机器就会来把它从他们手中夺走。

我不会说贪婪。用人形机器人建造房屋并使其廉价的能力，做手术并治愈原本无法治愈的疾病的能力，我不会称之为贪婪。那些是令人满足的目标。

短缺会减少这一事实……事实上，如果你说20年后，根本不清楚还会有什么短缺。在那个真正富足的时代，人类将不得不找到一种方式来组织生活并拥有目标，希望他们仍然掌握着控制权。接下来的20年——

我们能不能回到那个“希望他们仍然掌握着控制权”的情景？

那就是我们讨论过的对齐问题。

是的。

但假设你解决了对齐问题——

这感觉像是一个很大的假设。

这是一个假设，是的，而且没有保证。但那时你面临的另一个问题是富足与目标的问题。我会把它留给年轻人在那个时候去弄清楚他们选择如何应对。

你完全可以说，“让我们像阿米什人一样，只在某些事情上使用AI。”我在备忘录中提出了一个想法：某些职业——儿童保育、食物制备、艺术、体育、各种事情——可能会被选择为人类保留。即使AI能把那些事情做得更好，我们也会选择那样做。

但那将是人们会面临的政策问题。一旦你拥有了那种富足，他们的选择自由就与今天我们面临的短缺截然不同——在非洲国家，大多数人从未见过医生，或者几乎一半的孩子营养不良，大脑发育不良。

你想说的是，尽管这存在挑战，但你已经消除了当今生活中许多艰难的事情。我最大的担忧是这20年的过渡期，期间会有赢家和输家，也会有大量颠覆，我们必须度过这段时期，才能抵达那个富足的时代。

你认为是从现在起20年后吗？

我选这个数字是因为它相对稳妥。有各种各样的里程碑，例如人形机器人。它们是像一些人说的那样还有两三年，还是像另一些人说的那样大约八年？

没有多少人这么说，考虑到投入的资本和公司数量，尤其是在中国，大家都在做这件事，没有人认为拥有手和手指、能够以极低成本提供体力劳动是无法解决的。我这个数字可能错了，可能略少或略多。

但大致在那个量级上，是的，如果我们不选择大幅放缓或停止，那么我们将会拥有能建造房屋、种植食物、做手术的机器人，对于大多数商品和服务而言，人类劳动为经济提供的一切都将不再必要。

我们已经多次谈到稀缺性的概念，广义上说，你将拥有富足，因为会有大量机器人劳动力来建造房屋。这与互联网的发展轨迹大致相符，而互联网正是微软大力推动进入主流的事物。我小时候读过 The Road Ahead 。

很好。

互联网实实在在地消除了文化产品的稀缺性。过去你得买CD，现在所有歌曲都能获取。过去你得买VHS录像带，现在所有视频都能获取。然后那些经济模式不得不改变。

主流艺人现在总是在巡演，或者他们不得不重新发行50种颜色的黑胶唱片才能上榜。这其中有些东西让人觉得，我们甚至还没有真正应对数字环境中稀缺性的消除。

我们发明了新的商业模式，但我们还没有真正认清这样一个理念：歌曲本身没有经济价值。围绕歌曲的一切才有经济价值，因为歌曲是无限丰富的。你想复制多少次就复制多少次。

你会如何提议建立一种经济结构来应对物质稀缺性的丧失？因为我认为没有人哪怕稍微准备好进行这样的对话。

但那是个本末倒置的问题。

当然。

我们建立价格信号来应对稀缺性，比如说，“让我们鼓励人们成为脑外科医生，因为我们缺少脑外科医生”，而这非常难做到。随着你进入富足状态，你不再需要那些价格信号。

但再次强调，我的问题、我的处方性思考，是关于我们如何度过这20年。那些 deeply religious、哲学性、社会行为相关的问题——人类在那个富足时期是否感到强烈的目标感并和睦相处？——那不是我要解决的问题。

你现在担心的是颠覆。

盖茨基金会所处的世界是这样的：我们起步时，每年有1000万儿童死亡。现在这个数字是500万。这是好事。

我所有的资源将在未来19年内投入，用于根除多种疾病，并再次将死亡人数减半，从每年500万降到每年250万以下。这一切都关乎短缺——“好，我们需要发明一种疫苗，我们需要让药物更便宜，我们需要为孕妇提供优质的医疗建议。”

业界基本上已经不再谈论它将如何杀死所有人、夺走工作岗位。他们转向了“AI将治愈所有疾病”。我不断从多位AI CEO那里听到这种说法。

在过去一年左右的对话中，我确实向穆斯塔法问过这种语气上的转变。AI大规模带来巨大正面效益的想法似乎又回到了前台，而不是一两年前可能存在的那种末日论冲动。

在我看来，AI治愈所有疾病正好落在你的专长领域。这是盖茨基金会在全球健康领域多年来的工作方向。这似乎并不像只是告诉模型去治愈癌症那么简单。你必须做试验，必须生产药物，必须分发药物，必须确保它们有效。

你认为这会如何发展？是和机器人建造我们房屋一样的20年时间跨度吗？是更快，还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，这个月我们进行为期两周的战略审查，以决定明年在结核病、HIV和疟疾上的资金投入。我们在使用AI方面做得非常出色，不仅在药物发现方面，还在于让这些模型正确理解非洲语言，这是我们上个月与60个合作伙伴共同宣布的一项计划。

医疗发现和交付将被AI极大地加速，这非常令人兴奋——更好的种子、更好的牲畜遗传、为非洲农民提供天气预报，他们以前从未拥有过这些东西。所以是的，在盖茨基金会剩余的19年里，AI能带来这些好东西。

你认为这足以克服人们对当今所接触的AI模型的怀疑或恐惧吗？因为这正是那些公司的想法。

不，得了吧。我认为说他们完全在传递末日论信息、现在又转向了别的信息，这是不公平的。这两件事是深深纠缠在一起的。

AI最终将能够以某种方式模拟人类生物学，使你无需进行人体试验就能了解药物的副作用。我们还没有达到那一步，但在未来5到10年内，这些计算机模拟模型很有可能赋予我们这种能力。生物学非常复杂，AI在数据充足的情况下极其擅长，而且有新的工具来收集并向其输入更多数据。它非常非常擅长处理复杂系统，所以它几乎完美适用于生物学。

但并不是说，人们就会对负面影响感到满意。好事来得有多快？你多快会看着自己的医疗账单说：“哇，这真便宜”？或者你说：“我想买套新房子，哇，这些房子真便宜”？好事确实需要时间。有些事情，比如网络攻击和就业市场的问题，即使在未来两到三年内，你也会在这两个领域看到显著的负面影响。

在你的信中，你提出了不少关于如何阻止这些负面影响，或预防、至少缓解它们的想法。

是缓解它们。

“改善”可能是更合适的词。

对，没错。

而且这些想法并不小。你信中有一句话是：“我们需要做出的回应，要远远超过9/11事件后美国国家安全层面的回应。”你想设立一个国际机构，设法让所有人都做正确的事。这些都是很有挑战性的想法。

绝对是这样。二战时我们投下核弹，当时我们预料到之后80年都不会再发生这种事吗？这方面我会给我们打个不错的分数。像关怀贫穷国家、帮助它们这种事——尽管现在我们对此的重视程度不如我认为应该有的，也不如过去——我们在这方面做得很好。这将比人类以往实现的任何成就都更具挑战性。

与核武器的对比中让我印象深刻的一点是 最近在 Decoder 上多次被提到，那就是核武器是政府建造的。当然，他们有一些承包商，但这些都是政府项目，最终技术掌握在政府手中，我们从未让普通人拥有它。

把 Muse 放在核武器的背景下想一想。你认为推出像 Muse 和 Dots 这样可能没有相应管控的消费级智能体 AI 产品是个错误吗？

Muse 恰好由 Meta 的模型驱动，而该模型仍是闭源模型。我确实认为，允许人们通过开放权重移除所有防护措施，从由此带来的网络和生物风险来看是不负责任的。

对于这些智能体，在它们的设置方式上会出现一些早期问题，但我从根本上认为人们会拥有个人智能体。Muse 是非常好的一步。我和 Alexandr Wang 谈过这件事，向他表示了祝贺，尽管会有挑战，但个人智能体将帮助人们把事情办成。

Muse 是第一个真正出色的消费级 AI 产品。人们普遍不太喜欢 AI 的原因之一，是他们体验的是廉价免费模型和 AI 概览，或者他们用的是免费版 ChatGPT，而它会胡编乱造、对他们撒谎，但 Muse 确实能做事，是个好的消费级产品。

但我想知道——在核时代，我们并没有说：“每个人家里都会有一个核反应堆，而我们还没为它建好安全防护。”这里有点问题。

当然，让每个人在家里制造天花或制造核武器这种想法，你可以模仿一些人的口吻来讽刺：“别担心防护措施。”那就是在采取那种立场。“我们对安全问题并不认真。”

但个人智能体这件事是意料之中的发展。AI 真的很酷，就像我在智识上探索事物一样，甚至包括盖茨基金会的工作。我的能力被大大增强了。但我同意你的看法，它会以这种个人智能体的形式触达更多人。

我们刚才谈论的所有模型实际上都运行在大公司拥有的数据中心上。这里的一个论点是：“如果它们做了非常错误的事，你可以直接起诉它们，这会形成威慑，或者至少是创建安全系统的激励。”

我不确定产品责任是正确的方式，但产品责任本身会让行业守规矩这一说法已经多次出现。然后是另一面，你可以直接买一台 Mac Studio，在上面运行一个开源开放权重模型，它就能做任何你想做的事。

我不确定这些责任会落在哪里，也不确定什么会控制或对齐那些开源模型的行为。你认为这是一个不断增长的风险吗？你认为这可以被控制吗？

认为责任法是我们管理 AI 安全的方式，这种想法日后回看会显得荒谬。当坏人发动生物攻击时，你不会去法院说：“哦，好吧。”即使是为了找出谁在发动这些攻击，责任模型在各个方面都失败了，因为那不是 AI 公司本身。而是那些特别是不带保障措施地使用模型并做这些事的人。

我们会比对待航空安全、药物安全和汽车安全更认真地对待 AI 安全。这是必然的。至于是否足够……这更难，比核武器更难，比任何其他领域都更难。

但对于一个运行在某人用随便一块 Nvidia 显卡攒的 PC 上的开源模型，你打算怎么办？

我希望对于能力超过一定水平的模型，我们能找到一种方法，要求在这些模型中维持保障措施和监控。我承认，随着时间推移，如果我们不尽快决定这样做，你将面对一种存在于黑暗角落、你无法看到的能力水平。

但你在哪里施加限制？

一个主权国家说，能够进行复杂网络攻击的模型必须在其中保留保障措施。

当然。

你可以是开放的，意思是你是自由的；你可以是开放的，意思是完全可定制的，但你必须留在平台上，当你定制它时，平台会检查你是否在定制中移除了保障措施和监控，并拒绝让你这样做。所以这意味着主权国家去说：“这些受信任的平台能否执行这项功能？”

我问的是非常具体的问题。你会在技术上在哪里实施这项监管？

通过美国的法律。

当然，但你得把它们放在某个地方。是在 Hugging Face 上吗，它分发其中一些模型？是在芯片层面吗？

不，正是我所说的：超过一定能力的模型只能在平台上运行，这些平台证明，当它们被定制时，不会移除保障措施。

让我拆解一下，也许我没完全理解——那么在这种情况下，Mac Studio 是一个必须关注自己运行什么代码的平台吗？

你不会让超过某一能力水平的模型被复制到客户端机器上，除非你已经设法弄清楚如何监控到那台客户端机器，而这非常可行。

但短期内，这些真正的前沿模型大多会运行在 Hugging Face 上，或者你可以把它们放在 GitHub 上。你可以让各种各样的人从事提供维护保障措施的平台的业务。

为了把这点弄准确，看起来你会在平台和分发层面执行监管，而不是在芯片层面。

不在芯片层面，对。

因为我觉得到了某个时候，即使是廉价、免费、开源的模型，也会像我们今天拥有的模型一样足够强大。

没错。

然后你就会有一个大问题。

如果那些是开放权重，以至于所有保障措施都能被移除，那么你将面临非常高级别的网络攻击和生物攻击。然后你可以说：“好吧，让我们重写今天所有的代码，使其更不容易受到攻击，或者让我们以非常深入的方式进行生物监测，”我相信除了这些其他限制之外，我们还需要做这些事情。

我们又在提议很多新能力，对吧？

是的。

我们将对 GitHub 施加一些限制。GitHub 今天对其可分发的代码没有很多限制。它有一些，但没有这类限制。

当你把一个能够进行深度网络攻击或生物攻击的最先进模型放到 GitHub 上时，它会说：“我已经向美国政府证明，我不会让人们自定义移除保障措施。”

我不认为我们目前生活在一个对机构高度信任的时代。对我来说就是没有这种感觉。事实上，我们大多把它们拆毁了。Elon Musk 出现了，他拆毁了 USAID。我知道你对此有强烈感受。

那是个错误。

我们大多拆毁了我们的机构，无论好坏。

不，那有点太过了。我们的机构——

它们被削弱了。

它们有些被削弱了，是的。

有些被削弱了。这是一种非常委婉的说法。对它们的信任非常低。我们可能还能再花整整一小时讨论 AI 药物发现，以及相当一部分人口是否会信任这项工作的产品，因为他们今天不信任制药公司。

他们今天不必信任制药公司。他们必须信任 FDA 的审查流程。

我不确定他们也信任那个。总体而言，信任度很低。

那他们可以不服用。当他们得了癌症，他们可以说：“不，我不想吃那种抗癌药。”据我所知，人们确实会吃药。这是一个蓬勃发展的行业，人们服用它们是因为它们已被证明有益。

我想说的是，眼下人们对机构的信任，尤其是在美国乃至全世界，似乎正在下降。而你提出了一类新的机构，可能是一类新的全球机构，它们可能会施加一些前所未有的限制。

到了某个时候，我们必须明确：开源模型、开放权重模型不能做某些事情，而政府将介入其中，决定它们能否做这些事情。

不，他们会确保平台不允许这些防护措施被移除。

你如何重新赢得机构信任，以实施这些管控？

假设我们不这么做，任由模型去发动网络攻击和生物攻击。你觉得这会增加信任还是人类福祉？那就是另一种选择。

这正是我追问此事的原因。这也是我提到我的孩子和虚无主义的原因。我确实对此感到困惑。

I’m not sure we’ll succeed at this, but I guarantee you this is doable. The FDA is very complex. The airline safety regulations are very complex. Now with AI, you can do an even better job with the same number of people in those organizations.

It’s this weirdly recursive thing where AI will be involved in AI safety and auditing and a variety of things like that. Yes, this requires taking action, and I’m suggesting it’s only a matter of how bad the incidents are before we take action.

I can sense your urgency about the harms. I can also sense your enthusiasm about the benefits over the long term, but we’re sitting here talking about trust. We’re going to put this on YouTube. I know you know what some of the YouTube commenters are going to say.

They’re going to say, “Why should we trust Bill Gates? He had a relationship with Jeffrey Epstein.” How do you respond to that? Is it that the urgency is over that, or do you have a more specific response?

People shouldn’t take everything I do at face value. I have all sorts of mistakes that I’ve made, weaknesses that I have, biases I bring to these questions. They ought to just take what I’m saying and add it to the voices.

I’ve been in the technology industry thinking about AI my whole life, writing software, thinking about the power of software. I admit I was very fascinated as AI started to finally make progress. It was actually pretty slow until recently.

I’m amazed and it’s actually helping me do my job in some incredible ways. But yes, I’m just one voice, an imperfect voice. I doubt you’ll find a perfect voice, but people can judge it however they like.

I would say voices people trust are in short supply.

I agree with that.

When you go and talk to the people in this industry, it’s a bunch of young CEOs building huge companies. That is something you have some experience with. Do you think they’re going about this the right way? Do you think that they have the right intentions?

Our problem today is not in the industry. Our problem is not that Sam Altman, Dario Amodei, Satya Nadella, or Sundar Pichai don’t understand that there are some grave challenges here. I talk less to Elon than other people, but even his public statements about summoning the demon are exactly what we’re discussing here.

Why is there not the political energy to do the things you’re suggesting?

As you said, the government didn’t fund this work. This is private sector company work. The government is not the key customer for this work, not like rockets and weapons and things like that. When somebody comes along and says all other previous technology advances are trivial compared to this one, people should have a high degree of skepticism about that.

Is life really going to be significantly different 10 years from now because of AI? People should say, “Those guys just got overexcited about this one thing.” But I’m here saying, with whatever credibility I have, that absolutely this is the most profound — both in terms of good and in terms of bad — technology ever invented. I’m not financially motivated on this. I’m suggesting some precautions and safeguards are absolutely needed.

What do you make of the difference in the tenor of conversation in the United States versus in China, where it’s often reported that optimism around AI is much higher? Why do you think there’s a difference there?

Most of those people don’t spend that much time in China. The concern about job markets in China is very, very high and you can’t characterize China as one monolith. There are the private companies doing the AI work like we have in the United States and then there’s the Chinese government.

For example, when it came to whether crypto should be allowed, they said no. Should young people be gambling all the time? They said no. When it came to whether kids should have relationships with AIs, they said no. On a lot of these things, including usage of AI, they’re showing a willingness to do things on behalf of society.

The fervor is a tiny bit less there, because their economy isn’t as AI-centric as ours is right at the moment. In the end, [when it comes to] the human value of not wanting cyberattacks or bioterrorism or trying to figure out what do we do when jobs go away, I don’t think there’s some difference between Chinese people and Americans and all the rest of the humans in terms of how they’re going to view this.

Do you think it’s going to take something actually bad happening to get the political capital of the United States to make these changes?

Probably yes. We get ready for earthquakes because there are small earthquakes. I thought after we had the COVID pandemic, that would cause us to be more ready for future pandemics. That one didn’t work the way I expected.

But usually that galvanizes our attention. Over the next several years, certainly in the cyber domain, because there’s a business model there, you will see a lot of attacks different in terms of scale than anything we’ve seen in the past.

There is one thing that, again, I’ll come back to and I just want to end here. I am worried about young people and nihilism. I sense it in our audience all the time. We have a young audience.

There are some things about AI that are just legitimately the coolest things I’ve ever seen a computer do. There’s something there that can be fun and interesting and fascinating and change your entire relationship with the very notion of living in a digital world.

Then there are obviously horrible things. What I see more often than not is a sense of distrust, not just in institutions, but also in the companies, in capitalism itself, in the notion that we should change how we tax labor and capital, which I know is another one of your ideas. The idea that, I don’t know, we should even have more kids. It’s all done. They’re going to kill us all and we should just take a beat.

There is a lot of nihilism out there. I feel it very keenly. If you were a young person today and you were listening to Bill Gates say it’s about 20 years of disruption and at the end of it, robots might be building houses, what would you hold onto as a source of hope?

Throughout human history, we’ve been dealing with the shortage of food and disease and war. [Historian] Yuval Noah Harari writes eloquently about the past. And it is ironic that now that we have this sort of Pandora’s box that will take food shortage — which is still a real thing, not in the U.S., but in Africa — will take diseases, where human suffering is unbelievable, and solve all these things, it comes with it such an effect on jobs and our sense of unique contribution.

I think, “The way I orchestrate resources to eradicate malaria, I’m pretty unique in my life experience that lets me do that.” But when the AI says to me, “No, I’m better than you. You go play pickleball and I’ll get back to you. I’m going to take care of this,” it’s humorous, but it’s not humorous. For somebody who is young today and wants to make a unique contribution, it is very intimidating that the AI is so powerful.

That’s why the crisis in the math community is going to be mirrored everywhere. If you’re in your twenties today, during this 20-year period, you can take the things AI still can’t do, and you can use AI and you can have a lot of good impact, and you can suggest policies. We may need to develop the taste to actually not use technology to its maximum.

When I was talking with Claude about human-reserved job categories and trying to get that up to, say, 40 percent of the labor market — so you could use early retirement, restricted work weeks, and things like that to still get something like we have today — its response was always, “You’re artificially restricting the AI from doing these things.” I couldn’t get to a very high percentage without doing that.

We’re going to have real choices. We have had groups — not large groups, but like the Amish — who don’t live at the technology frontier. A lot of humanity may choose not to live at the technological frontier because of things we get from helping each other or coming up with unique ideas.

On the idea that young people are concerned because of the disruption that’s coming — that even in the very best case of how we manage AI, this is going to be as tumultuous a period as there’s been in human history — I hate being the bearer of concerning news on this, but it’s even worse not to tell people that this is coming. We have choices as humans to make about how we shape it.

Bill, I appreciate you sounding the alarm and I appreciate you being on Decoder. Thank you so much.

Thank you.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}

来源：The Verge：AI · theverge.com