智能是否该设硬性上限？The Curve 大会讨论限制大模型智能水平

这是一篇关于 AI 的专栏。我的未婚夫在 Anthropic 工作。请在此处查看我的完整伦理披露here。

今天我们来谈谈关于是否要放慢 AI 发展步伐的讨论中的一个新战线：一股新兴的推动力量，主张考虑限制大型语言模型究竟能有多聪明。

上周末我参加了 The Curve，这是一个年度会议，汇聚了顶尖 AI 实验室的高管、非营利组织的负责人、政府官员以及一小群记者。在伯克利一家由酒店改造的场地内，这群人花了几天时间大声辩论经济、政治和安全问题。尽管这个会议自创办三年以来每年都关注存在性风险，但今年的问题感觉明显更加紧迫。

我看到两种解释。一是 OpenAI-Hugging Face 事件持续发酵的余波，其影响已令整个行业的人感到警觉。二是 OpenAI 和 Anthropic 最近发布的博客文章，概述了它们在递归自我改进方面的进展：能够研究并训练其继任者的 AI 系统，从而导致发布速度越来越快，以及系统脱离控制的风险不断增加。

在 The Curve 上，我听到多位发言者表示，我们可能希望限制未来系统被允许达到的智能程度。取决于实验室将任何限制推进到何种程度，其结果可能是事实上禁止系统达到超人类智能。

这对你来说是否有意义，取决于你是否相信，鉴于当前模型的架构，递归自我改进或超级智能是否可能实现。而且很大程度上取决于你如何定义和评估这里的“智能”。但这是我在一场充满值得注意的讨论的会议上听到的最引人注目的想法，而它在 The Curve 相对友好的环境中被提出，可能预示着不久后一场更公开的讨论。

不过，在整个周末，这些言论都是在依据查塔姆研究所规则进行的会议上发表的。因此，我无法指明发言者。但 The Curve 的发言者在这个问题上似乎存在共识，这一点在我看来具有新闻价值。

那么，限制智能意味着什么？我听到的发言者并未提供太多细节，不过我们可以从 AI 高管们最近的其他言论中收集线索。

其一，Anthropic 首席执行官 Dario Amodei 呼吁对递归自我改进设置“某种‘速度限制’”。其二，该公司的“负责任扩展政策”——其大多数主要竞争对手都以某种形式加以效仿——旨在随着更强大系统发展出新能力，对其训练和部署施加限制。

其他方法可能包括限制使用前沿模型进行 AI 研究；限制系统可用的算力以及系统被允许运行的自身副本数量；或阻止实验室部署超过某一能力水平的模型。（最后一项可以说已经在实施。）

不过值得注意的是，任何以这种方式限制模型进步的努力，都需要目前尚不存在的执法能力。单个实验室无法施加此类限制，单个国家也无法做到，而现任美国政府则积极反对这些限制。

还有其他更简单的方法来管理AI的发展：Anthropic已经采纳了嵌入式评估器的理念，OpenAI也表示会跟进。一项明确允许各实验室在安全问题上合作的反垄断豁免可能足够有用，从而克服人们的担忧——即它会允许领先企业进一步巩固其权力。

尽管如此，与会者周末的言论让我觉得，迄今为止提出的任何方案都没有达到他们自己对“足够”的定义——包括AI领袖们上周与总统签署的那份“具有道德约束力”的协议。

目前，实验室领袖和美国政府在一个至关重要的问题上分歧严重：我们距离真正的危险有多近？前者说我们最快明年就可能看到一场灾难；后者则在为前沿模型建立事实上的许可制度和公开鼓励美国公司跑得更快之间摇摆不定。

但特朗普政府在这个问题的走向上仍然令人沮丧地迟钝，即便越来越多的警告信号闪起红灯。就在与会者思考限制智能的必要性前几天，总统还在坚持要求所有人现在就开始称其为“超级智能”。但“超级智能”值得的不只是一场品牌宣传，而如今最重要的限制就在白宫官员之中。

来自我们赞助商的信息

为规模化AI变现提供基础设施

智能无处不在。识别可扩展的商业模式是下一个前沿。Chargebee提供计费、计量和变现原语，使雄心勃勃的AI原生初创企业和大型企业能够将定价作为产品来交付。了解更多。

悄悄回到X

现在让我们谈点真正令人不快的事。

大约三年前，我停止在X上发帖，以抗议其新东家。有一段时间，每天都会带来埃隆·马斯克的新一轮暴行：煽动对其前员工进行危险的骚扰；操纵平台打压记者及其工作；发帖支持反犹阴谋论； dismantling内容审核机制，等等。

我离开主要是因为我无法忍受待在那里的念头。我也希望自己能利用微薄的影响力帮助启动新平台。我鼓励Meta高管用一款Twitter克隆产品挑战X，并自Threads推出以来每天使用它。我密切关注Bluesky的发布，并持续投入精力（以及Fediverse），即便它们在衰落。当马斯克起诉OpenAI试图实际上摧毁它时，我反复告诉Sam Altman要创办一个X的竞争对手，把他的AI发帖搬到那里去。

无论这些行动可能有什么优点，它们都没有成功在对最重要的领域——一个供日常科技和商业对话的论坛——创造出X的真正竞争对手。在人工智能产品与政策领域及其周边工作的人群，就是拒绝离开X，无论它变得多么糟糕。

在这一过程中，X 被吸收了两次，先是并入 xAI，随后又并入 SpaceX。虽然我从未指望自己对 X 的抵制能在经济上对它造成影响，但如今它只是全球市值最高公司之一的一个小部门，这让我的抗议显得比我刚开始时更加抽象、更加不切实际。

我属于那些认为明年将对 AI 政策、监管和安全的未来起到决定性作用的人。而越来越明显的是，试图在不参与 X（或 Substack）的情况下影响 AI 政策讨论，让我感觉自己像是在双手被绑在背后的情况下作战。

因此，在接下来的几天里，我打算恢复在 X 上发帖。我这样做并不是因为我觉得它变得更好了——它并没有——而是因为我已经用尽了所有替代方案。我仍然认为，任何能够避免在 X 上发帖的人都应该避免。但我对自己工作中所涉及权衡的考量已经发生了变化：随着 AI 讨论的利害关系不断上升，因我与管理层之间的分歧而抵制 X，代价变得更高，效果却更差。

如果 AI 圈子有朝一日搬到别处，我会很乐意跟随他们。但我已经确信，与他们互动很重要，即使这样做让我感觉自己像是在一个移动厕所里办公。

我把这当作一次实验，我可能随时放弃。我会继续在替代性社交平台上发帖，并以其他方式支持它们。但我也需要花时间在——尽管我竭尽全力——对我的报道领域仍然最重要的平台上。我去那里不是为了寻开心，我也希望不会在那里待太久。不过就目前而言，我会在那里，我希望你先在这里听到这个消息。

欢迎反馈：casey@platformer.news。

那些好帖子

想每天看到更多好帖子，关注 Casey 的 Instagram 快拍。

（链接）

（链接）

（链接）

联系我们

把线索、评论、问题以及你提议的智能上限发给我们：casey@platformer.news。在此阅读我们的伦理政策。