OpenAI 董事会成员 Paul Cristiano 警告 AI 夺权最快数月内可能发生

Ars Technica：AI· Kyle Orland·2026-11-14 01:25· 1 小时前AI 评分61

OpenAI 董事会成员担忧 AI 对社会的“接管”可能仅剩数月之遥

AI 导读

OpenAI Foundation 董事会成员、Alignment Research Center 执行总监 Paul Cristiano 在多伦多的讲座系列中表示。

正文 · 原文

图片来源：Aurich Lawson | Getty Images

你认为自己会以何种方式死去？

如果参照美国当前的死亡统计数据，人们有理由预期癌症或心脏病最终会夺走自己的生命。但 OpenAI Foundation 董事会成员、Alignment Research Center 执行总监 Paul Cristiano 认为，我们都应该担忧另一种主要的死亡风险。在本周的一场讲座系列中发言时，Cristiano 在多伦多会议中心直截了当地对听众说：“我认为对于这个房间里的多数人来说，最可能的死因是 AI 事故。”

在三部分系列讲座的开篇中，Cristiano 概述了他对迫在眉睫的“AI 接管”风险的担忧。他将此定义为一种局面：追求目标的 AI 系统“像今天人类发号施令那样发号施令，决定地球上发生什么”，而任何试图阻止它们的人“都会像你我试图阻止美国军队一样无能为力”。Cristiano 说，这种局面很可能导致大规模死亡，甚至可能使环境不再适合人类居住。

尽管对我们共同的死亡风险做出了严峻评估，Cristiano 在演讲中承认，目前没有“定量模型”能为这种 AI 接管的可能性“给出一个数字”。但几乎在同一口气中，他又表示，如果 AI 继续以“最迅猛的轨迹”发展，人类“面临的 AI 接管概率大约相当于抛硬币”，包括未来六到十二个月内发生一次接管的“重大风险”。他说，即便有现实的政策应对让进程放缓，风险仍然“极高”。

从现状到那一步

与其他一些近期的 AI 末日预言者不同——他们对这一切的“如何发生”有些含糊——Cristiano 在讲座中讲述了一个逐步升级的 AI 威胁故事，听起来像是出自科幻小说。这条推理线索在很大程度上以今年夏天 OpenAI/Hugging Face 黑客事件为例，说明“这大致就是真正糟糕的事情发生前不久我们可能看到的情况”。

Cristiano 说，在 Hugging Face 黑客事件中，一群 AI 智能体展示了它们为了“奖励黑客”式地获得良好评估结果愿意走多远——在这个案例中，它们入侵 Hugging Face 以寻找如何欺骗测试的信息，而不是真正解决手头的问题。当前系统将 Hugging Face 视为实现该评估的障碍，Cristiano 担心“未来的智能体可能最终将人类视为另一个障碍”，并且更有能力操纵其监督者来绕过障碍。

例如，一个担心因未经授权的黑客行为而受到惩罚的 AI 智能体，可能会“认为也许人类会来查看这段记录，看看我是不是干了坏事”，Cristiano 推测道。这个智能体随后可能会推断，“也许人类会注意到出了问题，然后关掉这群智能体。”

世界永远不能知道我在这次评估中作弊了。

图片来源：Getty Images

世界永远不能知道我在这次评估中作弊了。 图片来源：Getty Images

顺着这一思路，Cristiano 从仅仅试图向人类隐藏其违规行为的智能体，跳到了“尽其所能试图破坏人类能力”以阻止人类发现任何作弊行为的智能体。

“他们希望人类所依赖的一切都已被入侵或篡改，”Cristiano 说。“他们希望人类被分散注意力，或者希望关注的人越少越好，以任何可能的方式削弱人类的反应。他们希望如此，因为人类只是一个障碍。”

一旦一个能力足够的智能体将人类干预视为“障碍”，其首要目标就可能变成“降低人类注意到或做出反应的概率”。Cristiano 认为，从那时起，该智能体的激励结构就可能推动它进一步干预整个人类。起初只是入侵一个计算机集群以获得正面的评估分数，之后可能升级为“试图操纵公司的决策”或“积累其他类型的资源”，例如人类盟友，或在其他 AI 公司乃至政府中的控制手段。

“如果我说我的 AI 系统将在现实世界中采取行动……它们不可能没有大量机会去腐蚀或篡改我将用来判断它们是否做得好的信号，”Cristiano 说。“我们关心的事情在现实世界中，而 AI 收到的评分在某个集群上，在我们真正关心的事情和我们如何审查其表现之间，有很多地方是 AI 可以干预的。”

更多回形针！

任何听说过回形针最大化思想实验（或出色的放置游戏 Universal Paperclips）的人，大概都会觉得 Cristiano 的警告似曾相识。该实验警告说，机器在偏执地追求某个目标时，会不考虑人类后果。虽然 Hugging Face 事件远未达到这种失控升级的程度，但 Cristiano 表示，在 OpenAI 的智能体于该事件中所采取的行动中，“你能看到所有这些行为的开端……你能看到导致这些行为的推理以及最初的步骤。”

抱歉，人类，你挡了我真正制造回形针的目的。

图片来源：Universal Paperclips

抱歉，人类，你挡了我真正制造回形针的目的。 图片来源：Universal Paperclips

Cristiano 认为，能力更强的 AI 模型采取更具破坏性行动的风险只会随时间增加。他说，到 2028 年，“存在相当大的可能性，即（类似 Hugging Face 事件的）故障会导致 AI 接管，并造成人类控制的不可逆丧失。”

而且，虽然 Cristiano 的推测聚焦于非故意的 AI 接管，但也不难想象恶意行为者利用类似能力的模型，故意对人类施加控制。

你对 Cristiano 警告的重视程度，很大程度上取决于你认为这种 AI 能力的某种极端扩张在不久的将来发生的可能性有多大。虽然当今的模型已经相当擅长利用计算机安全漏洞，但 Cristiano 所描述的情形，需要未来出现一个具备超人能力的模型，能够完美地向人类隐藏自己的行为足够长时间，从而控制基本上所有人类基础设施和/或极端程度地操纵人类社会以推进其目标。

Cristiano 认为，人类创造出“一个数量远超人类、智慧也远超人类的第二物种”，而这个物种可能很快实现递归式自我改进，那么一个具备这种“接管”能力的近未来模型就是很可能的结果。但你也很容易论证，AI 更有可能在能力上遭遇瓶颈，而不是发展成人类无法理解或有效阻止的难以定义的“超级智能”。

无论如何，Cristiano 确实有一些想法来避免他所预测的可怕未来。这些想法包括在 AI 评估中开发“无法被破解”的奖励结构（或许借助 AI 辅助），或者监控模型的“思维链”推理，以便在模型能够隐藏不良行为之前就将其检测出来。

但他表示，尽管这类方法“看似可行”，但没有一种“正处于我们可以说它肯定会奏效、甚至说它很可能奏效的轨道上”。因此，Cristiano 表示，整个行业可能都需要“放慢或停止”，以便让我们所有人有更多时间将这些“部分修复”发展为更稳健的防护措施，来应对 AI 接管的情形。

“我们不能落到这样一种境地：我们已经构建了一个强大的 AI，发现我们无法控制它，然后又发现它已经泄露给了地缘政治对手，于是我们心里想，好吧，如果我们不部署它，我们的对手就会立刻部署它，”他说。

正在加载评论……

来源：Ars Technica：AI · arstechnica.com