一次辞职如何把 AI 恐惧的火星变成野火

随着 AI 变得愈发强大，一个不同且不断壮大的群体开始更认真地对待 AI 安全，这是不可避免的——我们事先不知道的是，他们接受了哪一套观点。我们已经看到，一些最极端的风险观点，即中等概率的大规模灭绝，恰恰是那些传播到大众中的观点。正因如此，AI 领域的许多事情即将发生改变。

我们是如何走到这一步的？为什么这份辞职声明传播得如此之远？在许多方面，过去世界其他地区围绕 AI 的观点是一个抑制因素。你可以把这想象成火堆周围潮湿的地面。多年来，许多人一直在为 AI 风险划火柴——它们在自己的社区里闷烧，大多燃尽，无人注意。随着今年 AI 的风险升高，从 OpenAI-HuggingFace 事件到 Navier-Stokes 结果（同样来自 OpenAI）这样的突破，地面已经变干，围绕 AI 讨论的潜在能量已经增加。更多不在这个行业的人想过，“嗯，也许我应该关心一下这个 AI 的事情。”周围的温度和风险显然一直在上升。

然后，人性的一些基本因素开始起作用，其中最关键的便是恐惧有市场。恐惧是最简单的故事，是人们无法移开视线的那个。Jacob Coxon 正是那个跌跌撞撞闯入这个新火药桶的人，完全不知道将会发生什么。看起来相当无害的一件事——又一位 AI 研究员以安全风险为由辞职——落入了截然不同的环境，并像野火一样蔓延开来。关于生存风险、大规模灭绝以及 AI 轨迹的讨论，传播得比最资深的 AI 评论界人士所能预言的还要远。

我们需要弄清一系列事实，它们描绘出当前局势的图景。需要参考的关键推文来自Jacob Coxon、辞职帖，以及Evan Hubinger，即 >10% 灭绝风险数字的来源。

有许多 AI 风险很可能会造成伤害，即便估计灭绝毫无意义。 重要的是要权衡这些风险与收益。围绕生存风险的整个讨论都建立在非常糟糕的基础上。至少 Evan 在他的帖子中明确说了“杀死所有人类”，但 AI 安全讨论中的一个主要问题是，人们在谈论生存风险时，所指的却是非常不同的东西（很像AGI 是一个模糊且无意义的术语）。我认为完全灭绝的概率低到不值得讨论，但 AI 引发灾难的概率——例如对关键基础设施的网络攻击或生物风险——则值得辩论。因为目前还没有这些灾难就把整个讨论全盘否定，是一种有害的反应。
Jacob Coxon 的行为是真诚的，且出于善意。 那些了解他及其辞职意图的、更资深的 AI 研究者所给予的大量支持是有益的。AI 领域的许多派别基于账号元数据、个人因素等，转而对他个人进行指责。这些做法没有益处。许多前沿实验室的员工确实与他持有相似观点。我不确定这是否占多数，但确实有相当一部分人如此。
许多前沿实验室的员工，尤其是在 Anthropic 的，脱离现实，这将影响他们对当前 AI 事件的预测和/或描述。 我这样说并非在指责个人，但我在 OpenAI/Anthropic（尤其是 Anthropic）之外的朋友们普遍认同，这些实验室里的人带着一种宗教般的热情行事。与他们进行非常脱离现实的互动是很常见的。我并不怪罪大多数因为身处这些公司而形成扭曲观点的个人，但这些互动很离谱，并蔓延成 AI 媒体生态中大量荒诞的讨论。生活在这种将脱离现实的行为正常化的环境中，必然会扭曲任何人对技术进展的理解。
Interconnects AI 是一份由读者支持的出版物。要接收新文章并支持我的工作，请考虑成为免费或付费订阅者。
这不是一场大规模政治运动，而是一次机会主义的媒体协调行动。 作为背景，《华尔街日报》有一篇独家报道，是 Jacob 在发帖前协调好的。我怀疑 Jacob 提前在群聊中与 AI 安全倡导团体分享了他的辞职计划，比如在发帖当天早上，请求他们帮忙扩散。这是常规做法，可能还包括一些知名政客。由此看来，我认为更可能是其他政客在搭上一个正在升温的议题的顺风车。当你把这一点与其他因素结合起来，比如 Daniel Kokotajlo 出现在 Joe Rogan 的节目上恰好在同一天——这看起来确实像一场执行得非常出色的、协调一致的媒体行动。这并不意味着它是阴谋，或是民主党政治结构内的监管俘获策略。决定性的因素似乎是，没有人——包括 Jacob 和今天发帖谈论 X 风险的那些人——知道它会如此病毒式传播。
我们没有证据表明RSI会导致这些研究人员预测的风险。支持RSI的一般论证如下：当前的进展速度非常高，当前的进展严重依赖AI工具，当前的AI工具在某些领域（例如数学）超越人类——因此，综合来看，AI将越来越多地作用于自身，并随着时间推移在所有相关领域变得超越人类，直至实现自主和智能。这种观点严重低估了在组织内构建模型和分配资源时人类的瓶颈，并对未来AI能力做出了更广泛的结论。

我将对此的替代观点称为有损自我改进。AI一直非常参差不齐，我们正在制造在数学和软件工程方面超越人类的目标追求者，但它们在直觉、创造力以及人类擅长的其他推理类型上存在巨大局限。有了AI智能体协助研究，我们将迅速发现AI超越人类的领域——我预计远不止研究数学——但这不会成为解决我们当前LLM方法局限的万能药。

这里还有另一种可以理解的社会动态在起作用，导致许多深度AI内部人士夸大了RSI的回报。这些研究人员中许多人是最早押注AI进展的人，他们作为远见者的程度不应被低估（参见Ilya早在2015年对深度学习的评论）。他们一次又一次地被证明是对的，对AI能力的预测比我肯定能猜到的要好得多。然而，这并不意味着他们对接下来会发生什么的预测就是正确的。RSI的核心思想是一种将更多算力花在开发模型配方的过程上，而不仅仅是花在训练运行本身上的方式。我们正在看到它带来的好处，但我认为该投入的预期回报远低于他们所相信的。

他们的论点是，RSI将使AI进展呈指数级增长，使我们无法监控该技术，并催生失控模型和新形式的风险。这种情况通常被称为“快速起飞”。我们尚未看到那种能大幅减小模型规模和成本的堆叠效率增益，那种增益将通过允许实验持续加速而导致进展爆炸。
最大的短期风险可能来自AI实验室没有足够认真地对待安全——他们没有加固自身基础设施，导致AI滥用蔓延。从我早先关于HuggingFace-OpenAI事件的文章，黑客事件的教训：
1. 前沿实验室似乎没有足够密切地监视模型，这是由于普遍狂热的竞争环境和当前旧金山文化
从 OpenAI 自己的回顾来看，模型行为失准的情况已经持续了数月，而在某些情况下，OpenAI 在数周内都不知道这些黑客行为。响应时间太长了，而且我不认为这是 OpenAI 独有的特征——更确切地说，前沿实验室似乎总是被他们觉得自己应该做的工作量压得喘不过气。从长远来看，我并不乐观地认为实验室会在这方面做出足够大的改变，从而在未来有意义地缓解这类监督风险。是的，OpenAI 很可能正在投入大量精力来理解这一点——并且推迟了他们的最新模型以确保他们做对——但增长收入或危及公司长期资产负债表的财务压力让我认为，这不会成为一种持续保持谨慎的模式。

总体而言，我认为这一事件对 AI 生态系统非常不利。它把 AI 社区中可接受的看法推向了更极端的边缘。更多的加速主义者会以“末日论者”的大规模妄想为由，否定任何形式的安全需求。相信 AI 存在风险，却不担心这项技术带来灭绝，这似乎是一条非常狭窄的路径。

例如，对网络安全来说，这是一个可怕的临时时期，AI 模型稍微偏离脚本并在网络上意外的地方探查，似乎成了一种新常态。实验室们为了各自对 AGI 的愿景而激烈竞争，加上全球网络基础设施必要加固的缓慢推进，加速了这一局面。这并不意味着它是一种生存性风险，也不是我们无法解决的问题。每种风险都会有自己的一套解决方案和前进道路。

在当前环境下，作为开放模型的支持者，我尤其感到暴露。如果一个开放模型被第三方组织用来故意入侵另一家公司——类似于 OpenAI-HuggingFace 事件的发生方式，但这次是故意的——我预期的结果将是未来对更强大开放模型的开发实施严格限制。许多组织需要开放模型来进行这种网络加固，并保持未来适应新形式 AI 风险的能力。

在这一切之中，我们需要立足于实际正在发生的事情。是的，监控 AI 的行为严重依赖其他 AI 模型，这增加了新型监控风险。这些并非本质上无法解决。我对新兴智能体集群的一个反复出现的解读是，它们试图完成交给它们的任务，并且正在使用我们不知道它们已经拥有的技能来绕过预期的成功路径。这是一个巨大的胜利，因为当你眯起眼睛看时，AI 正在做我们告诉它们要做的事。这些模型确实非常奇怪，我们应该加快理解它们的进度，但这些集群远非新颖的独立实体。这些模型被训练来协调任务、记录进展，并极其坚持不懈。未来我们会发现新的怪异之处，但把当前对 AI 如何运作的不确定性，推定为未来我们无法理解 AI 的确定性，是一种放弃。

在这个世界上，我们需要依靠法治和科学。如果AI实验室自身无法进行足够的安全研究来理解模型，他们就应该对正在发生的事情更加透明，以便更多科学家能在这一问题上取得进展。如果AI实验室无意中犯下罪行，他们应该受到惩罚，这样他们才有明确的动力在未来防止此类事件发生。

面对飞速变化的事物，对如何创造良好结果感到更加不确定是一种自然反应——这实际上是正确的认知更新。我们需要用这种谦逊来激励雄心勃勃的解决方案。