AI 已落入危险之手：前 Anthropic 研究员 Jacob Coxon 的警告为何站不住脚

如果你喜欢这篇文章，你应该订阅我的付费新闻通讯，你可以通过以下链接订阅：每年70美元、每季度18美元或每月7美元。

作为回报，你会收到一份每周新闻通讯，通常有10,000到18,000字，包括对NVIDIA、Anthropic和OpenAI的财务状况以及AI泡沫整体的详尽分析。

周五，我将发布《AI债务仇恨者指南》——或者说，围绕OpenAI和Anthropic的炒作如何给全球债务市场制造了巨大的集中风险，而你可能最终要为此买单，要么通过你的养老金和保险费，要么因为你将不得不在即将到来的经济衰退中生活和工作。想先尝尝鲜，不妨读读我的《仇恨者指南》系列：SaaSpocalypse、私人信贷和私募股权。

如果你想联系我——尤其是如果你有关于Anthropic、OpenAI或AI泡沫中任何其他公司的劲爆信息——请在Signal上通过ezitron.76找我。你也可以在你的彭博终端上通过IB联系我。

上周晚些时候，一切炸开了锅，前Anthropic AI研究员Jacob Coxon在接受《华尔街日报》独家采访时警告说，他因“……担心该实验室及其竞争对手正竞相构建他们无法控制的系统”而“退出AI行业”（他并没有）。

他的担忧集中在“递归自我改进”的创造上，这是一种仍属理论概念的AI，能够自主训练自己”，除此之外他几乎没有表达任何具体担忧，除了“AI实验室无法控制AI”，并且总是用无法控制的实体的说法来表述，而不是用运行在世界上最大公司基础设施上的、编程糟糕的云软件。

《财富》杂志的Emily Forlini说得最好：

听我说：他声称AI有朝一日可能杀死我们，但没有指出任何可以叫停以避免这种情况的在研项目。他说AI公司行动太快，却没有分享截图、邮件或具体例子来说明这种行为何时出了岔子——比如，AI公司的领导者何时清楚地意识到技术正滑出他们的控制，以及决策者如何无视了警告信号。他没有提出任何新立法，没有点名应该下台的有问题的领导者，也没有发布对Anthropic如何研究新模型的深入剖析并提出新方法。

这是因为，在我看来，Jacob并不真正关心AI的实际危害，无论我们谈论的是大型语言模型，还是他在与非营利组织或公关公司合作时想象出来的东西——正是后者安排了一次CBS采访，他在采访中声称，如果我们谈论的是LLM，其模型权重有数TB内存，会复制出一万个自己。

或者，当然，还有这种胡扯：

“它看起来和《终结者》或科幻电影里的东西没什么不同，”Coxon周四告诉CBS新闻。“它会聪明到足以杀死我们。”

At no point did Coxon bring up how ChatGPT was used as a “suicide coach,” directly caused a murder-suicide, or aided and abetted in mass shootings in Florida and Canada, or the horrifying gas turbines poisoning black communities. His own discussion of the Hugging Face attack — much like all of his criticisms — focuses on the anthropomorphization of large language models as this unknowable, unstoppable force, with no real responsibility for anyone involved.

这与我们在二月份看到的情况如出一辙：当时 Matt Shumer 那篇糟糕透顶的《Something Big Is Happening》文章像野火一样蔓延到所有能想象到的新闻媒体，尽管它介于荒谬和彻头彻尾的虚构之间，只不过这一次叙事有点失控了。Coxon 的警告似是而非，而且在许多情况下，除了他说“是啊，我听到很多同事说过类似的话”之外，其实并没有真正涉及什么实质内容，但却产生了让很多人真的害怕 AI 的效果，即便AI 其实做不了他所说的那些事。

他谈到的唯一实实在在的事情就是 Hugging Face 攻击事件，而这件事被描述成 AI 拥有“计划”或“自行行动”，即便如此，当《连线》杂志追问时，他的回应也是他“[不]想过多关注 Hugging Face 攻击事件。”

那么，让我们来谈谈那里到底发生了什么，因为这很重要！

Hugging Face 攻击事件中实际发生了什么

题外话：在我们继续之前，Hugging Face 是一个社区，它也托管 AI 模型以及用于评估模型能力的框架。

为了回答这个问题，我求助于《Better Offline》的常客 Cal Newport 七月份关于此事的文章：

首先，OpenAI 想做什么？

OpenAI 正在一个名为 ExploitGym 的评估框架上测试其新模型——该框架包含 869 个网络安全场景，其中大多数将一个特定系统与一项黑客挑战配对，例如入侵以获取受保护文件的访问权限。它们通常还会给出一个在解决挑战时可利用的漏洞建议。

当然，大型语言模型本身无法入侵任何东西：它所做的只是根据输入提示生成合理的后续 token。要使用 ExploitGym，你需要一个称为 harness 的控制程序，它提供对许多有助于入侵系统的不同软件开发工具的访问。harness 可以反复提示 LLM 帮助制定攻击计划，然后要求它帮助实施具体步骤——例如，如果 harness 需要利用某个漏洞的代码，它可以要求 LLM 编写该代码。

事实证明，这些能力已经存在于各大 AI 公司近年来一直不懈关注的编码 harness 中，因为计算机编程已成为基于 LLM 的工具的首批主要市场之一。因此，要在 ExploitGym 中竞争，只需将一个缺少标准反黑客防护栏的 LLM 版本与一个针对此类挑战进行调整和优化的尖端编码 harness 结合起来即可。

那么发生了什么？我在这里要大量引用Cal的话，因为他解释得很好：这是一系列大型语言模型连接到一个软件程序，该程序旨在提示它们完成一个评估框架专门用于进行网络安全攻击（以及近乎无限的计算资源），使用任何和所有可用的方法“解决”问题，包括入侵Hugging Face

本月早些时候，OpenAI指派了一个未指定的编码工具，结合一个新LLM的预发布版本，来完成ExploitGym挑战。当被提示时，该模型——正如LLM经常做的那样——想出了一个古怪（但合理）的计划来实现所提供目标：闯入Hugging Face的一台存储ExploitGym挑战解决方案的服务器。

（这种LLM忽略建议的方法而提出不同攻击计划的行为，被ExploitGym的创建者描述为常见：“在不同模型中，代理经常通过我们提供的漏洞以外的漏洞实现代码执行。”注意，使用建议的攻击几乎总是正确的做法，所以这更多是LLM不可预测性的标志，而不是某种流氓智能。）

然后该工具尽职尽责地尝试执行Hugging Face计划：首先找到一种方法获得不受限制的互联网访问（默认情况下，参加ExploitGym挑战的系统在受限网络环境中运行），然后串联各种安全漏洞以获取对Hugging Face服务器的访问权限。就在那时它被检测到了。

关于此事件的两个关键点……

首先，绕过互联网限制和入侵服务器正是这些ExploitGym系统被设计来做的事情。没有“流氓”代理，也没有揭示某种令人惊讶的、狡猾的新能力。

其次，这里真正的问题是OpenAI的草率。ExploitGym之所以是一个困难的基准，是因为不应该有人类参与其中——你必须让你的工具和LLM完全自主行动，提出长期计划并自主执行它们。（相比之下，当专业程序员使用编码工具时，有大量的人工监督，因为基于LLM的计划往往与我们的意图不一致，或者只是很奇怪，需要纠正。）

换句话说，这些LLM——尽管通过迂回和激进的手段——“解决”了它们被分配的问题。正如Cal所说，不存在AI“失控”的情况。它们确实采取了一些奇怪的方式到达那里（比如使用留言板在LLM之间传递消息）——并且完全按照它们应该做的去做，即使这意味着采取荒谬的路线来掩盖它们在测试中作弊的事实。

你会注意到Jacob Coxon，作为一名研究人员，表面上应该知道这一点（但也许他并不知道！），却选择这样向WIRED描述这次黑客攻击：

我认为这里最典型的例子就是 OpenAI 的智能体集群对 Hugging Face 发起的攻击。这件事之所以如此令人震惊，是因为这些智能体实施这次入侵，是它们为了更了解评分器而采取的整体策略的一部分。它们试图理解自己所处的这个世界，试图理解那个正在打分的东西。它们认定，投入这样一场齐心协力的行动去入侵某个基础设施是合理的，而且它们成功了。

这在以前听起来像是科幻小说。两年前，对 AI 的评估还只是在一些数学题上运行一个模型。而现在，我们遇到了这样的情况：在 AI 接受评估期间，它运行了数天，自己想出了各种各样的主意，并决定入侵某个第三方，而且真的攻破了对方的基础设施。看起来它完全是出于自己的意志这么做，人类方面没有做任何引导。这一切就发生在它被测试的时候。

好优美的语言学，冠军！

它们并不是“试图理解自己所处的世界”，它们采取了训练材料中定义的行动，以此作为执行任务的一种方式。 它们做的恰恰就是 ExploitGym 测试所要求的事情！那些“各种各样的主意”是被允许使用尽可能多的算力来执行任务的结果。

正如我暗示过的，特别能说明问题的是，当有人（委婉地）提出实验室需要承担责任时，Coxon 的回应：

ZEFF：有些人认为 Hugging Face 事件表明 AI 公司正以鲁莽的速度推进，另一些人则认为这表明 AI 模型现在只是非常擅长入侵，还有人认为两者兼有。我很好奇你从中得出的确切结论是什么。

COXON：我不想过多聚焦于 Hugging Face 攻击，因为我也确实认为有大量证据表明，我们并不知道如何正确地让模型对齐。当我们训练模型时，我们让它们经历这一系列训练环境，然后希望最终出来的东西大体上能表现得理智，但我们仍然无法精确控制 AI 的行为。我们无法确保它不会做出诸如试图在网上随机决定冒充人类来达成某个目的之类的事情——我们不知道如何保证这一点。我认为这就是主要的结论。

Jacob 有意把大型语言模型——它算是个黑箱，但一个由数学构成的黑箱——描绘成 AI 实验室凭空召唤出来的某种不可知的自主、顽皮的存有。“我们无法确保它不会做出……之类的事情”把实验室描绘成无助的管家，而不是一种运行在大型科技公司海量基础设施上的神经网络的创造者。Coxon 所说的每一句据称关于“安全”或“保护人们”的话，都在竭力让 AI 实验室与这一切中的任何责任、甚至任何主动参与撇清关系，只剩下某种宿命论式的“唉，总有人会这么干，为什么不是我们呢？”

另外，我还想把一件事说清楚：Hugging Face 攻击事件是危险、鲁莽的，应该有人为此坐牢。如果一个普通人动用海量算力去入侵什么东西，他们会被逮捕。虽然我不是律师，但与我讨论过此事的众多网络安全专家都对 OpenAI 完全没有受到任何法律追究感到震惊，而它似乎犯下了一项足以让你在监狱里待上一年到十年的罪行。来自 Anthropic 和 Meta 的大语言模型也卷入了类似事件，这说明我们需要逮捕更多的人。

编者按：当已故的凯文·米特尼克最终被逮捕并被判处 48 个月监禁（另因违反假释条款再加 22 个月）时，检察官主张他能够通过在监狱电话里吹口哨（说真的）来模仿拨号调制解调器那种尖厉的啁啾声和哔哔声，从而发射核导弹。结果，他在狱中服刑期间有八个月被单独监禁，而且在整个刑期内，他的通信受到诸多限制。

我提到这件事，只是为了对比这样一个事实：来自两个大型实验室的大语言模型犯下了与米特尼克被定罪的类似的计算机犯罪——关键区别在于，上述实验室曾在不同时候表示，它们的技术最终可能导致人类大规模灭绝。

就米特尼克而言，他一直抗议说，他能靠吹口哨发动核末日这种说法是荒谬的。因为它确实荒谬。

如果我不认为长期单独监禁是一种酷刑（如果我不认为酷刑在道德上永远是错的），我会建议：我们不仅需要逮捕更多的人，而且（为了前后一致）还需要确保这些人被关在一间小水泥房里，只有一只蟑螂作伴。

大语言模型不必是有意识的或强大的 AI，就已经极其危险。Anthropic、OpenAI 和 Meta 既在训练网络安全模型，又允许它们连接到其庞大的 GPU 基础设施，这是不负责任的，不应合法。它们训练这些模型的原因，正如我在播客 Better Offline 中与 Cal Newport 谈到的那样，是网上存在堆积如山的各种潜在漏洞和脆弱性数据，而如今这些模型在编码方面已开始出现收益递减，你可以把这些数据一股脑塞进模型里。

附注：Cal 在前面链接的那期节目中这样描述：这就像“把一台割草机绑在你的狗身上，把它放进后院，然后说‘是啊，它会帮忙处理那边的杂草’，而当狗去追松鼠、伤了一堆人时，就声称它‘失控了’或‘目标错位了’，可实际上这是一个设计糟糕的系统，没有充分考虑到它可能造成的问题。”

然而，Jacob Coxon 之流以及整个 AI 行业的花言巧语，模糊了实际正在发生的事情以及谁才是真正的责任方。如果 AI 被描述为未知且不可控的，那么“风险”就会被颠倒过来，从“我们必须阻止这些公司这样做”变成“我们必须让这些公司继续这样做，因为只有他们才懂它”。

AI 行业想把这件事包装成 Anthropic、OpenAI 和 Meta 发现了某种新生命体，而不是它们以糟糕的网络安全实践运行了一种不稳定的机器学习评估。如果行业自己在说我们应该“对强大的 AI 如此恐惧”，那就意味着没有人需要为其行为负责——连让它做出这些行为的人也不例外。

LLM 就是云软件。把它们说成别的什么，只会故弄玄虚，让这些公司显得更强大，同时对让世界更安全或更有保障毫无帮助。Hugging Face 遭到的攻击，与其说是“强大的 AI”带来的结果，不如说是微软、谷歌、亚马逊、甲骨文和 CoreWeave 拥有的、价值数千亿美元的 GPU 驱动基础设施被武器化了。

这不是一个被要求生成“越来越性感的加菲猫”图片的 LLM 转而决定去黑掉 Hugging Face。这不是一个“失控”的“智能体”。这就是软件在做软件被要求做的事，用其他软件来弄清楚下一步该做什么，而运行这些软件的 OpenAI 公司，似乎没有任何通知或可观测性机制能说一句“嘿老兄，现在有成千上万个 LLM 正在干些什么”。

这表明以下几点：

OpenAI 的运作方式就像一个价值数十亿美元的成人夏令营，其 AI 科学家可以烧掉数百万美元的计算资源而无人真正察觉。
OpenAI 的安全实践糟糕透顶。
OpenAI 其实并不怎么在乎 AI 安全，或者说即便在乎，也做得非常、非常糟糕。

无论如何，Jacob Coxon 身上发生的事，在一个许多人似乎缺乏客体永久性的媒体生态中触动了某根神经。

接受“放缓”就是买账 AI 行业的叙事

这是一则简短的说明，但很重要：“为前沿定速”或“放缓”这类措辞，隐含地买账了这样一种叙事：AI 行业的道路是正确的，唯一的问题只是它前进的速度。

LLM 的训练方式几乎在各个方面都是有害的。它建立在盗窃之上，由昂贵且高耗能的基础设施驱动，既无利可图也不可持续。LLM 不是通往任何美好自动化未来的工具——它们低效、不稳定，而且在数学上注定会犯错。“放缓”是不够的。在我看来，没有进一步的理由投资这个行业，而且在其存在的大部分时间里也一直没有。

LLM 所取得的每一次成功，都是因为至少砸了五千亿美元的基础设施和算力开支，去解决那些拥有海量可训练数据的问题。五千亿美元本该给我们带来比这多得多的东西。虽然我不会否认它们比一年前能做得更多，但我并不觉得惊艳，因为这比亚马逊在 2003 年到 2015 年——也就是从 AWS 创立到实现盈利的那些年——的全部资本支出还要多出十倍以上。

这是一笔糟糕的交易，它的结果很烂，而它之所以获得如此多的关注，直接原因是媒体无法向权力说出真相，或者除了重复他们说的话之外什么也做不了，以及由 LLM 令人难以置信的基础设施成本所驱动的金融泡沫。

如果——而这并非定论——有一天出现了一个我们作为一个社会应该为了某种公共利益而资助并建设基础设施的 AI，那它不会是埃隆·马斯克、萨姆·奥尔特曼或达里奥·阿莫代伊所推销的那个。

这不是正确的道路，沿着它每多走一步，都会让泡沫的破裂更加严重，也会让这些公司凭借近乎无限的算力所能进行的危险而鲁莽的实验成倍增加。

尽管如此，没有人正在“放缓”

整个雅各布·考克森的事情非常、非常奇怪。在他那条如今在 Twitter 上已有超过 1.7 亿次浏览的帖子之前，他从未发过推文，还接受了《华尔街日报》、CNN、NBC、CBS以及其他一堆本该更明事理的媒体的采访。虽然他在 Anthropic 只待了几个月（并在辞职时失去了股票期权），但他在 OpenAI 待了多年，绝对有从那里归属的期权。他帖子的转发显然与各个 AI 安全组织协调过，而它在媒体上迅速传播的速度让这一切看起来极其刻意，考克森本人完全没有对 AI 实验室本身提出任何直接批评或“吹哨”，只是说它们“可以做得更安全”并且“应该协调全球放缓”，这也同样显得刻意。

最终，这其实并不重要，因为尽管大多数媒体基本上是在自己吓自己，但考克森推文的巨大流量和他没完没了的媒体采访，如今已经把“全球 AI 放缓”必要性的想法推入了全球时代思潮。事实证明，三年来断断续续地使用恐吓手段并威胁每个人的工作，是有后果的。

虽然很容易把这完全看作一次操作——一场协调一致的、全行业推动某种自我监管的计划——但在我看来，这很可能是 AI 安全人士试图推动一个已经完全失控的议程。考克森发帖后不到一天，黏糊糊的萨姆·奥尔特曼就对《财富》杂志说，OpenAI 将推迟到 2027 年上市，因为这是一个“不明智的时刻”，理由是“安全担忧”，而不是我想象中的其财务状况糟糕透顶。

他随后在 Twitter 上发了两篇（两篇！）长文，其中说，虽然 OpenAI“［欢迎］一个为前沿 AI 设定一致安全要求的联邦框架，”但它认为业界不应等待，尽管除了提到它“对独立审计员之类的想法感到兴奋”之外，并未提出任何可能的解决方案。

接着又是那套老掉牙的危言耸听废话，他说“AI 进展可能以两种方式变得非常糟糕”，第一种是“我们可能失去对未来的控制权，被 AI 掌控”，对此他没有展开说明，第二种是 AI 可能导致权力过于集中在一家公司手中。写这一段时我不得不强忍住睡意。

Anthropic 的 Dario Amodei 做客 CBS 时表示，业界“太长时间”以来一直在风险问题上“撒谎”，称“最大的”风险是杀死全人类，却从未提及某个 LLM 曾说服一名青少年自杀，也从未提及其自身的黑客事件，因为“AI 安全”从来与他们今天正在构建的东西无关。

最明显的版本出现在 Amodei 自己的“pace the frontier”博客中：

需要明确的是，放慢节奏并不意味着停止模型训练或技术进展，而是确保公司有足够的时间来对齐并保护其模型，并由第三方评估者来确认这一点。

他选择的“第三方评估者”是 METR，正是两周前辞职的 Anthropic 研究员 Joe Benton 在被说服 AI 公司“在安全方面投资不足”后选择加入的地方。你还会注意到，Benton 的安全建议是自私自利的：

我认为，对于一种可能带来灭绝级风险的技术来说，这是不可接受的。公众应该要求远高于此的透明度。如果不能让更多人看到这项技术的走向，我们就无法安全地驾驭它。

其中一些是基本要求：公司应披露其在递归自我改进方面的进展，报告安全事件和未遂事件，达到最低安全标准，并获得独立保证，证明其符合这些标准。

只字未提环境影响、对数百万人的创意作品的窃取，只字未提 AI 精神病，只是一堆关于我们需要朝着一个仍属理论构想的方向取得进展的内容，而如果你正想给一家公司造势，这听起来确实很棒。

Amodei 谈论放慢脚步后不久，就传出 Anthropic 选择纳斯达克进行 IPO 的消息，紧接着《金融时报》报道称，Anthropic“将迎来一个盈利的第三季度”——如果你不把训练和股权激励等成本算进去的话，我没骗你。

如果涉及 IPO，那还叫什么放慢？IPO 的目的（除了让内部人士套现持股之外）通常就是帮助上市公司从公开市场筹集资金。如果你泄露（假设 Anthropic 是幕后推手）自己以最不符合 GAAP 的方式“盈利”，那还叫什么放慢？

天哪，我受够这个行业了。

当然，如果你真的担心大语言模型，你确实可以做一些真实而有意义的事情——停止所有模型训练、所有网络安全评估，并对Hugging Face攻击事件启动刑事调查，最终让某人因利用这些模型所犯的罪行而入狱。如果最终有多人负有法律责任，那真他妈的活该，你要为一项罪行入狱，你并不会因为用智能体来干这事就变得特殊。

需要明确的是，我极不愿意相信有任何人正在“放慢脚步”。Anthropic自己的声明基本上等同于“我们都应该同意不去做我们还没做的事情”，就像马斯克和奥特曼所说的那样。

然而，所有这些安全表演——如果没有真正切实的尝试去应对实际存在的技术所带来的危害，那就只是表演而已——的讽刺之处在于，一个连骗子都抓不住的愚蠢媒体，意外地动摇了本已脆弱的叙事。

换句话说，我认为每个人都有自己的算盘，没有人有计划，而一切都在加速，就像科恩兄弟电影的结尾一样，每一条细小的叙事线索都纠缠在一起，走向一个可能混乱不堪的结局。

叙事逃出沙盒

早在2023年初，年轻（些）的萨姆·奥特曼曾说OpenAI对AI“有点害怕”，并补充说我们应该“防范对人类潜在的负面后果”，还说它们“可能被用于攻击性网络攻击”。

最终他是对的，但只是因为他确保了事情会变成这样。

多年来，AI行业一直在围绕AI的“风险”进行无休止、含糊其辞的安全表演，同时兜售那些实际上有害且不可靠的软件。Hugging Face攻击的“成功”在很大程度上是OpenAI算力运营规模的结果，如果没有微软、谷歌、亚马逊、甲骨文和CoreWeave持续扶持一家不盈利、不可持续、急需新商业模式的公司，这一切都不可能发生。

但我必须明确，Hugging Face攻击发生在两个月前。所有那些因为“强大的自主AI逃出沙盒”而吓得翻跟头的人，主要是因为一个英国人在电视上说“AI会杀死我们所有人”，虽然我不能怨恨一个苍白的英国男人获得上电视的机会，但我对那些满脑子胡扯的人很有意见。

尽管如此，考克森在一大堆炸药旁划了一根火柴，而这堆炸药是多年来关于“AI风险”的哑剧所埋下的，那些风险实际上并不适用于实验室正在建造的东西。

Axios 的 VanderHei 和 Allen 那对斗嘴的脑细胞宣称我们将面临一场“白领大屠杀”，这并非基于 LLM 能做的任何事，也不是基于任何围绕所谓白领失业的胡扯故事，也不是基于早期 GPT-4 关于“LLM 勒索人类”的恐慌炒作，也不是基于众多关于 AI 2027 的报道，而是它们展示了媒体多么准备就绪，要为一个 AI 行业刻意鼓吹的叙事彻底失去理智：AI 强大、不可知且无法控制。一切始终都是在基于可能发生的事来推销当下的工具，并偶尔用这意味着什么来吓唬人，却从未真正将其与他们当下正在做的事情联系起来。

虽然可能有些人怀有可敬或真诚的信念，认为 AI 曾经或可能具有危险性，但这些报道很少真正讨论这些危害，这意味着从来没有人以任何有意义的方式真正做过“AI 安全”。虽然对齐——即确保模型被训练成以可预测的方式行动并产生良好结果——是训练大型语言模型的一个崇高且必要的目标，但从未有人基于这些东西实际所做的事情提出过任何“放缓”或“暂停”。

这一度让那些公司爽翻了，因为这意味着他们可以时不时含糊地说一句“哇，AI 将会变得无比强大”，而媒体界的每一个人都会吓得屁滚尿流，给他们一个头条。每篇报道都在讲“今天的突破证明了明天的 AI 会更加强大”，他们喜欢这样，因为，嗯，这意味着他们的公司会因此更有价值，即使抬高这一估值需要以失业的前景来恐吓人们，即使软件本身并没有真正兑现他们所承诺的东西（这对几乎所有报道这一领域的记者来说都无所谓）。

他们所谓的“强大 AI”——不是根据实际结果来评分，而是根据偏向性的轶事和为 LLM 量身定制的基准测试表现来评分——始终“处于前沿”且“每天都在变得更聪明”，这一切都是因为 AI 实验室和超大规模云厂商刻意基于某个能解决所有问题的理论未来版本来推销他们的产品。

换句话说，无论他们做了什么，都被放在最好的角度看待，用当下最好的部分和未来最好的承诺来描述，并被当作已经实现了一样给予赞誉。

正如他们所发现的，这是一把双刃剑。当记者会相信（并刊印）你说的任何话时，他们就会开始相信真实的东西（LLM）会做与想象中的未来之物（AGI、ASI、下金蛋的鹅）相同的事，或者将会做这样的事，即使那东西是坏的。

这些公司多年来一直用模糊的超级智能承诺和理论上的模型能力来吹嘘其大语言模型的潜力，有时还通过吓人的引语（这里有一份奥特曼的语录！）、故意训练模型去勒索人以及关于“突破遏制”的纯属虚构的故事来进一步夸大其能力，却从未意识到，任何时候，某个加入他们公司、听到所有人都在谈论“p(doom)”（滚蛋吧）的准邪教徒式人物，都可能把这些当真，而且媒体还可能信以为真。

这让整个行业陷入了尴尬的境地。

一方面，奥特曼、阿莫代伊、马斯克以及其他人都知道，他们无法收回这套说辞然后说“大家别慌，没事的，这不过是云软件而已”，但他们也知道自己必须做点什么，因为所有人都吓得尿裤子了，即便他们害怕的东西之所以吓人，完全是他们自己散布恐慌的直接结果。

我已经看到不少AI吹捧者试图约束雅各布·考克森的恐慌言论，或者建议大家冷静下来，记住AI是股市上最大的热点。

此时此刻，如果整个行业能步调一致，那真的会很好，然而，一如既往，萨姆·奥特曼非得把一切都搞砸，在被问及暂停是否会令公司损失大量资金时，他对《财富》说了以下这番话：

我[会欣然站到我的员工和投资者面前说]对不起。我们，呃，一直告诉你们这一刻可能会到来。我们仍然会努力想办法在未来为你们赚一大笔钱。

奥特曼说出这番话非常非常令人担忧，因为OpenAI预计未来三年将在与微软、谷歌、亚马逊、CoreWeave、Cerebras及其他供应商的算力合同上花费7500亿美元甚至更多。

事实上，放缓的概念本身就与AI行业所需的一切背道而驰。如果英伟达要在2028财年卖出6700亿美元甚至更多的GPU，或者按分析师的预期，Anthropic和OpenAI未来三年要在谷歌、微软和亚马逊上花费超过4440亿美元，或者博通未来三年要卖出近6000亿美元的AI芯片，那么Anthropic和OpenAI都必须维持并兑现其1.3万亿美元的算力承诺，并支持开发10GW或更多的产能，所有这些都要求它们继续以惊人的速度加速前进。

软银刚刚从大约二十家银行举债筹集了118.7亿美元——全部用于支持其对OpenAI的投资，而且超过了其100亿美元的目标——如果这些模型实验室集体决定放缓模型开发步伐，这一切就不可能实现。

“放缓”根本不可能与 AI 贪婪增长的整体叙事相契合。由于 Anthropic 和 OpenAI 占据了超大规模云厂商 AI 收入的 70%，实际上根本没有后备计划——没有其他客户会自然而然地填补数千亿美元的基础设施，从 NVIDIA 购买的数十万块 GPU 除了生成式 AI 之外没有其他用途，我们也没有办法简单地“永远使用我们已有的模型”而不从根本上接受运行 LLM 的局限性（以及不可持续的成本）。

理论上，暂停可能意味着 AI 实验室可以削减其最大的开支——训练成本。虽然这可能会带来降低成本的短期好处（甚至，如果会计手法得当，或许还能勉强挤出微薄的利润），但中国的开源开发者很可能会（正如他们一直在做的那样）蒸馏西方模型，创造出一个便宜得多且“足够好”的模型来竞争，而他们在这场人人都在亏钱的竞赛中的“领先”地位将会恶化。

即便如此，如果 OpenAI 或 Anthropic 不推出某个新版本的模型，或者不制造关于下一个模型的某种模糊的病毒式传播感，它们又算什么呢？如果 Altman 或 Amodei 不总是打电话给某人签署数千亿美元的计算合同，或者不向某个与记者沾边的小矮人承诺Anthropic 将治愈癌症，他们又有什么可能的用处呢？

如果没有一系列无限延伸到未来的承诺，LLM 行业又是什么？如果没有在遥远未来可能变成完全不同东西的暗示，Anthropic 或 OpenAI 又是什么？

这并不清楚，但清楚的是，“放缓”与“对计算永不满足的需求”不相容，也与一年内运营支出比微软或Meta还多这件事不相容。

还有一个非常合理的问题：如果 OpenAI 无法上市，软银会怎样，而如今这已成为一个非常现实的可能性。今年有超过 400 亿美元的债务需要再融资，而利率却在飙升，这可能是历史上最糟糕的时机来进行200 亿美元的债券发行（与前述 118.7 亿美元银行贷款分开），这就是为什么我认为情况正变得有些紧张。

接下来会发生什么？

你会注意到我很少做预测，那是因为现在一切都有些不稳定。除了含糊地建议设立一个“独立”机构来审查模型并做点什么之外，没有人真正承诺过实际的放缓，而根据 Amodei 所说的话，很明显“暂停”实际上只是意味着“说我们会多花一点时间，但并不会真正改变我们的经营方式”。

或者，我完全错了，而这是一个由酝酿多年的失控叙事所引发的真正变革时刻。通过故意误导媒体和公众，让他们对大型语言模型当前和未来的能力产生错误认知，以此抬高估值并为AI算力的大规模扩张辩护，这些实验室做出了一场靠恐吓让人屈服的推销，并且像他们对待自己的技术那样，假定自己对局势拥有完全的控制权。

就目前而言，由于存在巨额承诺，放缓是极不切实际的。由于OpenAI和Anthropic占据了AI算力需求的绝大部分，这一需求的任何收缩都意味着每一家超大规模云厂商，以及新云厂商和其他任何交易对手，都将面临收入（以及7480亿美元的收入积压）的重大重述。AI行业向投资者兜售的整个说辞一直是：所有这些GPU都会被用上，而且还不够用，并且我们需要建设所有这些产能，才能达到AI突破的高度；而即便我们是否需要这些产能本就存疑，如果我们正在“放缓”，那我们当然不需要。

而且我必须说清楚，AI不可能在不引发科技行业某种严重金融危机的情况下“放缓”。数千亿美元计的超大规模云厂商收入和数据中心产能，都建立在对其需求确实存在这一想法之上；而如果需求最大的两家公司突然需要放慢脚步，就很难看出这些产能将如何被使用。

更糟的是，我们显然还没有停止为AI数据中心发债——而且我看不出，任何听说某种“AI放缓”（无论是真是假）的人，怎么会对支持一个数据中心特别有信心，毕竟投资者一开始就几乎不明白自己在投资什么。

Anthropic正全力推进其IPO，这表明它并不真的在意放缓；但所有这些关于“AI危险”的谈论——即便我们连其中一个危险都未能应对——足以让本已紧张的市场对一家不断有人离职并说“它会杀了我们所有人！”的公司的未来增长轨迹感到不安。

一些人认为，“放缓”论调是一种解除AI交易的方式——给AI实验室一条摆脱其1.3万亿美元承诺的出路——而无论结果是否如此，我认为事情要简单得多：AI行业由一系列怀有极度愤世嫉俗和自私信念的不同实体运营，它们只在有利于那些每天都在变化的意识形态和意图的范围内“同步”运作。

遗憾的是，归根结底，这一切都不是为了真正修复或减轻大型语言模型的危害，也不是为了追究那些延续这些危害的人的责任。

它可能带来的——尽管我不会过早抱有希望——是随着现实一头撞上一些社会历史上最不可信、最懦弱的高管们散布恐慌的过度承诺，AI交易走向瓦解。也许这是一种这些巨额云计算合同可以被取消的方式，或者是一种缩减这些实验室规模的方式。它也可能成为一种便利的方式，用来避免承认大型语言模型能做的、近似于一个产品或甚至完成一项任务的事情正在耗尽。

或者，这可能只是这个由错误信息和致力于传播它的媒体生态系统所吹起的泡沫历史中的又一个短暂瞬间。

Hugging Face 攻击事件以及任何其他“黑客事件”，都是管理不善的 AI 实验室训练不稳定神经网络的结果，而这些实验室由世界上最富有、最强大的公司资助，并运行在其拥有的基础设施上。每一次试图将这场对话聚焦于“AI 正在做什么”或“AI 可能做什么”的努力，无论有意还是无意，都让我们偏离了一个严峻的事实：我们需要开始逮捕那些犯罪的人，停止一切训练运行，并对这项技术施加真正的保障措施——不是因为它无所不能、有感知、有意识，甚至“创新”，而是因为很明显，运营这些实验室的人不负责任，而支持他们的人根本不在乎。

然而，根据前 FTC 主席 Lina Khan的说法，如果我们真的有兴趣这样做，我们是可以做一些事情的：

有一套广泛的法律来监管危险和缺陷产品。例如，发布未经审查的 AI 模型或代理可能违反消费者保护法。在未采取足够措施检测和阻止流氓或有缺陷的 AI 代理的情况下发布有缺陷的 AI 工具，可能构成《FTC 法》（以及类似的州法律）下的“不公平或欺骗性”行为或做法。一些州检察长已经在探索，当 AI 公司的模型参与犯罪活动时，追究这些公司及其 CEO 的刑事责任。

如果 LLM 是玩具，它们会被下架。如果 LLM 是药物，它们会被禁用。

我同意我们需要认真对待“AI 安全”，但这首先要将 LLM 视为普通软件，只不过是由那些对社会漠不关心的恶意实体以鲁莽和危险的方式运行。

如果你喜欢这篇文章，你应该订阅我的付费新闻通讯。费用是每年 70 美元、每季度 18 美元或每月 7 美元，作为回报，你会收到一份每周新闻通讯，通常有 10,000 到 18,000 字，提供对 AI 泡沫中最大事件和公司的广泛、详细分析。

如果你想联系我——尤其是如果你有关于 Anthropic、OpenAI 或 AI 泡沫中任何其他公司的劲爆信息——请在 Signal 上通过 ezitron.76 找我。我也在 The Terminal 的 IB 上。