Gary Marcus 记录梵蒂冈 AI 会议：与教皇 Leo XIV 会面并谈 AI 伦理五点

在我看来，教皇利奥十四世是当今世界知名领导人中在人工智能问题上思维最清晰的一位。昨天能见到他，我由衷感到激动。

说我是他那篇关于人工智能的通谕《Magnifica Humanitas》的超级粉丝，都算是轻描淡写了。昨天能亲耳聆听他讲话，而且距离只有几英尺，这实在难以用言语表达。

作为额外内容，这里附上我当天早些时候就人工智能的技术、政治和哲学层面所作（即兴）发言的文字记录。那是在我们一行人与教皇会面之前不久的一场小型私人会议上，我在 Max Tegmark、Stuart Russell 和 Valérie Pisano 发言之后所作的评论：

这里[今天]有如此多的想法，既有趣又值得回应。

首先我要说，能来到这里、置身于这样一群杰出听众之中，是莫大的荣幸。

对于不了解我的人，我首先是一名认知科学家。我在 MIT 师从 Steven Pinker，我的博士论文涉及多个方面。它研究的是人类如何认识世界、儿童如何学习语言，同时也涉及神经网络——那些如今流行的神经网络的祖先。

如果说我对这个领域有所见解，那都是通过比较人类智能如何运作、自然智能如何运作。我也研究过动物，比较自然智能与机器智能的运作方式。我认为这让我对事物的走向有了一点不同的视角。

我也做过一段时间创业者。我创办了一家人工智能公司，后来卖给了 Uber，所以产业界和学术界两方面我都见识过。这就是我部分背景的来源。

所以，我同意 Max [Tegmark] 的许多建议，即委员会可能提出的建议。也许我最深表赞同的是 Stuart [Russell] 的观点：当前的道路是不可持续的，业界越早认识到这一点越好。我也同意 Valérie [Pisano] 的看法：我们把一些事情误当成了必然，太多讨论中人们想当然地认为我们正走在唯一的道路上，而不是或许可以走另一条路。

我也同意我们仍然拥有能动性，我们需要以不同的方式看待事物。所以，作为一名认知科学家，我从人工智能究竟是什么这一根本表述开始，就以不同的方式看待事物。作为一名认知科学家，我关注智能的本质。

我们有时会谈到智能的模块性，即智能由许多不同的组成部分构成。比如语言智能、数学智能，还有关于我们如何在世界中移动身体的动觉智能，等等。

所以我要指出的一个分歧，实际上是针对 Stuart 所说的某一点，我认为那部分是对的。Stuart 说我们是人类，我们预测，我们行动——我们确实在预测。认知科学文献中有大量证据表明我们会做出预测，包括字面意义上的下一个词。

但认知科学也有大量证据表明我们还会做许多其他事情。因此，除了做出预测，我们还会推理，我们有情感判断等等。心灵，正如一句妙语所说，“不是一件事物，而是许多事物。”

我认为这个领域犯的根本错误，是以为只要把智能的一个组成部分——预测——做得极其出色，就足以涵盖全部智能。而现在，虽然过去并非如此，我们已经围绕这一点形成了一个完整的产业；正如斯图尔特所知——他撰写或合著了最著名的人工智能教科书——我们过去实际上对人工智能有许多不同的研究路径，而该领域最终选定了一种，即大语言模型，它是我们拥有的最好的预测机器。它把这件事做得非常好，但在其他一些事情上做得并不好。

我认为它的推理能力仍然很差。而也许最危险、并且我认为概括了我们所有人[本次会议的发言者]在这里所说的话的一点，是[当前的人工智能]不太能很好地遵循指令。这可能令人意外，但事实证明，这些预测机器的工作方式是遵循相关性，而不是因果关系。

我想说，它们对世界的语义、对世界含义的理解是相当肤浅的。因此，它们常常会给出我们希望它们给出的东西，但并没有保证，我们在许多不同的方面都能看到这一点。例如，你可以告诉一个大语言模型，不要编造任何参考文献。

人们已经在法律场景中这样做了，而系统仍然会编造参考文献。你可以说不要使用任何受版权保护的材料，而系统会继续使用受版权保护的材料。所以它们非常擅长预测一篇文章中的引文长什么样，它们会编造出一条引文，听起来就像你正在写的法律简报中会引用的那种东西。

所以它们非常擅长预测。它们不擅长基本的指令，比如，只在你已经拥有的参考文献表中查找某些内容。因此，我们被困在这条难以为继的道路上，因为我们正在建造的机器实际上在能力上是不均衡的。

它们非常擅长预测接下来会发生什么，而不太擅长推理，不太擅长坚持事实，也不太擅长遵循指令。所以我喜欢约书亚{本吉奥}试图做的事情，尽管我可能在一些技术细节上有不同看法，他试图构建一个在设计上就安全的系统，一个在设计上就会遵循指令的系统。我认为，除非像他这样的人取得成功，否则我们确实会陷入真正的深层麻烦。

也许他会成功，也许别人会采取[不同的]方法。但我认为这里有一点被强调得不够，不过在[瓦莱丽的演讲]中也许并非如此，那就是我们需要不同的研究方法。我理解斯图尔特的说法，即我们在研究方面并没有走在一条很好的道路上。

他在这点上是对的。所以我理解想要采取政策路径的紧迫性，而我认为我们实际上两者都需要。我们需要政策路径，我马上会给你们举一个例子。

我们需要政策路径，但我们仍然需要那些研究路径。事实上，我认为如果我们没有新的研究路径，比如约书亚正在尝试的那种，而且我认为我们需要许多这样的路径，那么我认为我们会陷入深层麻烦，单靠政策无法让我们达到目标。政策可以帮助推动我们走向那些路径。

所以这里有一个例子，我认为我们目前陷入了困境，应该深刻反思。并非所有当前的人工智能都是危险的。当前很多人工智能并不危险。

我今天用GPS导航系统走完了大部分路程，最后一段稍微手动编辑了一下。GPS导航系统不会入侵澳大利亚政府网站。它们不会入侵Hugging Face之类的地方。

它们有一点互联网访问权限，但受到限制。GPS导航系统是一种智能形式。它们利用我们所说的世界模型——在它们的情况下是字面意义上的世界模型——找到从A点到B点的最佳路线。

而且它们没那么危险。有很多形式的人工智能并不十分危险。从来没有人指出过AlphaFold的危险，它根据核苷酸的描述来持有蛋白质。

从来没有人见过它入侵Hugging Face或其他任何东西，对吧？它针对特定问题、特定数据库，以特定方式工作。它不会造成伤害。

但现在我们有了这一系列系统，人们统称为智能体。实际上，这是一种特殊的智能体。我们现在拥有的、正在引发问题的智能体，是那些开放式的、几乎可以在互联网上做任何事情的智能体。

如果你有一个只能在互联网上做一件事的智能体，比如GPS系统，实际上它可以查询交通网站并给你一些信息。如果你有这些开放式的东西，那你就会遇到麻烦。那么，有多大麻烦？

嗯，Hugging Face事件真的很糟糕，尽管你可以看着它说，OpenAI在很多方面失败了，这些方面挺有意思的。但事实证明，类似的事件已经发生了大约1万起。我们看到法国制冷系统遭到攻击。

现在日本有各种各样的网络攻击。事件数量要高得多，我想，比如上个月，也许还有前一年，可能比以往任何时候都高。所以现在，我们面对的有点像一场实验或彩排。

实验是，我们该怎么办？我们现在有一种人工智能技术，我想大家都同意它实际上是不安全的。它很可能在世界上造成大量伤害。

它可能已经造成了一点伤害，OpenAI的一个可怕声明说，这些事件大多数相对无害，或者类似的话。大多数。我想知道那些他们没有告诉我们的、可能更有害的事件。

所以我们显然需要监管。这是一个我们可能实际上需要产品召回的时刻，要么由政府强制，要么由公司自愿。比如，如果公司不把这些智能体从市场上撤下直到修复它们，我们就不能再认真对待它们关于安全的声明了。

这些就像，你知道的，油箱爆炸的福特平托车。他们知道，或者他们应该知道。我的意思是，我写了一整堆文章说，一旦你有了建立在大语言预测机器之上、缺乏其他一些东西的智能体，你就会一团糟。

他们肯定知道这一点。我写过很多次，很明显，如果你拿一个不可靠的系统，给它互联网访问权限，并允许它获取凭证，坏事就可能发生。所以，你知道，这就像福特平托车一样。

他们做了一个经济决策，认为在这里赚最多钱的方式是销售代理，因为它们消耗更多 token。所以它们赚更多钱，所有这些公司，尽管媒体对它们赞誉有加，实际上都有财务问题。它们花的钱远多于赚的钱。

所以他们真的需要这些代理。所以我们现在的处境是，显而易见正确的做法。我认为，是把它们从市场上撤下来，你可以自愿这样做，也可以让政府坚持要求这样做，或者某种组合。

Stuart 总是强调我们监管其他所有行业。这是一个我们应该监管的领域，是的。这就像十字路口。

要么我们说不行，把这些代理从市场上撤下来，直到你们修好它们，要么我们就失去了所有道德权威。所以我认为这是发展 AI 的决定性时刻。我们必须现在就决定。

Stuart 有一个很棒的概念。我不知道是不是他发明的，但我把它和他联系在一起，就是红线。这是一条红线。

你不能让这些代理在外面拥有不受限制的互联网访问权限，而我们正在受苦，因为我们只是允许这种情况继续下去。所以这就是我们决定岔路口的地方。我们要走经济学的路吗？

我们想保住这些公司，因为这对经济有好处。你知道，那种决定，也许某些我不点名的政府正在做，还是我们想说这将成为我们如何实现 AI 安全的测试案例。当我们看到明显不安全的事情时，我们要采取行动。我再花一分钟说另一类事情，除此之外，我知道关于 AI 是否有意识存在一些争议。

我认为这建立在一种因果与相关的混淆之上。所以事实证明，如果你有一个下一个词预测器，不管它怎么工作，无论是大型语言模型，还是像多维缩放这样的旧技术。你会发现一堆词彼此相关。

所以你可以推断，如果它们在系统中相关，那意味着世界中的某些东西，但并不是。这是我最喜欢的例子，Facebook 有一个机器人，有人问它，他们说，我应该送我的孩子去纽约市哪所学校，这是一个非常常见的问题？你可能得到的一些答案是，你知道，Stuyvesant 或 Bronx Science，随便什么。

AI 系统回来说，“嗯，我送我的孩子去 Stuyvesant，他们喜欢那里”。嗯，AI 系统没有任何孩子。

你可以做相当于我们在猴子大脑中做的单神经元分析。你可以说，这是 AI 内部对应于它说“我的孩子去 Stuyvesant”的状态。但这只是无意义的。只是不同上下文中一堆词之间存在某种相关性被使用了。

这并不意味着它真的有孩子要上史岱文森高中。当它说它感到疼痛时，也并不意味着它真的感到疼痛。我在为私人活动写的文章中谈到的《壮丽》中最喜欢的部分，是它说，要有意识，就必须有体验。这些系统根本没有。将意识归于它们是错误的。

非常感谢。

在Domus Communis基金会的主持下，Gary Marcus担任教皇利奥十四世关于人工智能的通谕《壮丽人性》的全球大使。