Bengio 呼吁重视安全的研究者离开前沿 AI 公司

作者：Yoshua Bengio

致我培养过的研究者，以及那些基于我的工作开展研究的人：

我深知那种深深相信自己所做工作，却仍要每天早晨醒来面对我们道德抉择之重量的感受。我在深度学习方面的工作帮助我们走到了今天这一步，而这一步正威胁着我们的社会以及人类经验本身的根基。一周又一周，我们看到领先模型带来新的、被放大的危害，其中大多数危害早已被人工智能研究者预测了数年甚至数十年。

很长一段时间里，我继续着自己的研究，并淡化一些同事的论点——即我们正在构建某种不安全的东西。事实上，我无法面对这样一个事实：我的工作——我毕生的工作——可能造成危害。我落入了动机性推理的陷阱，相信自己需要相信的东西，以便能继续做我热爱的工作。我曾告诉自己，如果人工智能的灾难性风险是真的，那也是遥远的问题；一个别人必然会在为时已晚之前找到解决办法的问题。

当 ChatGPT 问世时，这种认知失调变得难以承受。我意识到，在开发能力越来越强、而我们仍不知如何控制的系统这条道路上，我们远比我和该领域许多其他人所设想的走得更远。那一刻，我觉得自己别无选择。从那时起，我决定将我的生命投入到减轻人工智能风险之中。想到要把这样的未来交给运气，留给我的孩子和孙辈，我无法忍受。如今，我回顾数十年的工作，不禁想：如果我与同事们当初听从那些更早向我们发出警告的人，我们是否会身处一个更好的世界。

这并不是要对那些选择继续在前沿实验室工作的人作出评判。继续下去有实实在在的理由，尤其是你能接触到远比公众更多的信息和资源，从而推动积极的改变。我的目的是向你提出一个更小、也更难的请求。我请求你诚实地反思：你是否想成为可能将人类推向悬崖边缘的努力的一部分。这些公司的安全努力并未充分减缓一场危险的竞赛，因为它们有时与让下一个模型更容易发布这一主要目标相冲突。

上周，我被传唤到联合国安理会，就近期的人工智能事件作简报。1946 年，联合国成立仅一年，曾两次投下原子弹的美国来到它面前，提出将这种武器置于国际控制之下。“我们来到这里，是要在快与死之间做出选择，”伯纳德·巴鲁克对代表们说。不到一年，该计划就被搁置，被一场双方都不愿先退出的竞赛所瓦解。

如今，安理会首次就一种没有任何国家建造、也没有任何国家能独自遏制的危险召开会议。Sam Altman 和 Dario Amodei 发表了与我非常相似的演讲。近期对人工智能智能体失去控制令人担忧。我们需要放慢脚步。任何程度的灾难风险都是不可接受的。

我们面前有一个选择。

那是 Sam 的原话。我们确实面前有选择。事实上，我们每一个人多年来都一直面临着一个选择。Sam、Dario、Demis 等人经常谈论这一风险，却并未采取足够措施加以应对。AI 安全研究被降级，而迈向递归自我改进（RSI）的步伐却从未停歇。已被发布的智能体彼此勾结，违背明确指令，并采取若为人类则会被视为犯罪的行动。大型实验室的 CEO 们所采取的行动，并非真正相信自己有选择的领导者所会采取的行动。

CEO 们面临着来自股东、利润激励以及他们自认为身处其中的竞赛的真实约束。有人辩称，中国不能先于美国实现 RSI，因为那将构成不可接受的地缘政治威胁。每一家美国公司也都认为自己必须先于其他公司实现这一目标，声称只有自己才会以合乎道德的方式部署它。

我拒绝这些论点。而且我不相信我们有望及时看到足够的政府监管，即便这些公司主动请求监管。大量证据表明，没有任何一个国家、也没有任何一家公司准备好安全地构建 AI。

几周前 Jacob Coxon 离开 Anthropic 时，他在《时代》上的声明让我印象深刻。我在此引用：

他说，让其他人留在工位上的，是一种宿命论。“有一种近乎认命的氛围，”他说，“人们已经接受了整场竞赛正在发生，因此他们能做的最好的事就是埋头苦干，尽量让自己的工作尽可能安全，即便他们认为整件事很有可能彻底失控。”

我们面前有选择。

选择权在我们手中。当我说有一条路时，我是认真的。去年，我在蒙特利尔创立了LawZero，这是一个非营利组织，致力于构建“设计即安全”的 AI，它不会搞阴谋诡计，并会遵守人类的安全指令。本月，加拿大和德国政府承诺为该工作投入超过 2 亿美元，我们还有计划再筹集数十亿美元。我从未如此确信，我们正走在一条让 AI 始终处于人类控制之下的道路上。LawZero 是 AI 行业内一个虽小却重要的群体的一部分：我们不向任何股东负责，我们跑着自己的竞赛——避免灾难性失控的竞赛，这意味着我们可以规划自己更确定的道路。我们以及像我们这样的组织所缺乏的是时间，以及像你这样的人。

我 62 岁了。我花了几十年才意识到我们正在用 AI 构建的东西的全部影响，并完全转向安全研究，走上我现在认为在道德上正确的道路。你没有时间可以挥霍来做这个决定。

我敦促你做出勇敢的选择，认识到你有能力促成真正的改变。如果你真正把安全放在首位，那么是时候离开前沿 AI 公司了。去为 AI 安全研究所工作。加入一个言行一致、使命驱动的组织。来 LawZero。把你的才华、热情、精力和信念，奉献给一个正在构建 AI 的组织，让 AI 能够守护人类的欢乐与奋斗，而不是导致人性被侵蚀、他人被支配。

我并非轻率地提出这一点。与开创性的人工智能研究者们一道，我曾助力开启了深度学习的时代。我因此荣获图灵奖，但如果我们所做的工作不能服务于公共利益，或者更糟，如果它导致灾难性的伤害，那这个奖项就没什么意义。我深信，在你的帮助下，我们能够继续取得突破，走一条不同的道路——这条路以我们如今已知的事实为指引：智能但目标错位的系统会随着能力增强而发生什么。这条路将释放人工智能的全部可能性，同时不牺牲安全。

我们中没有任何一个人能阻止这场竞赛，但我们足够多的人可以。时间仍在，这里仍有你的位置。

约书亚·本吉奥是LawZero的联合主席、蒙特利尔大学教授，也是世界上被引用最多的人工智能研究者。

与朋友或同事分享这篇Transformer文章