跳到正文
RadarAI· Hacker News:AI 热帖·· 16 小时前AI 评分45

IEEE Spectrum 分析:AI 超级智能争论存在哪些工程层面的根本缺陷

AI 导读

IEEE Spectrum 文章基于 Georgetown 博士生研讨班提出三项反对 AI 超级智能(ASI)可行性的工程意见,首条指递归自我改进(RSI)仍属推测。文章指出 GPT-4 之后继续扩大模型规模收益递减,训练转向依赖大量输入输出配对数据的后训练阶段,使编程、数学等结构化领域进展快,而缺乏此类数据的领域明显滞后。

正文 · AI 翻译

Hacker News:AI 热帖· rbanffy·2026-11-19 20:00· 3 小时前AI 评分58

AI 超级智能之争存在严重缺陷

AI 导读

这篇 IEEE Spectrum 文章认为超级智能争论存在严重缺陷,作者在 Georgetown 博士生研讨班基础上提出三项反对意见。

正文 · 原文

今年夏天,许多人措手不及——当时,全球领先 AI 公司之一的员工开始随口讨论自家产品是否会导致人类灭绝。事情始于 Anthropic 研究员 Jacob Coxon 宣布辞职,警告其雇主和 OpenAI 正“径直冲向可自我改进的超级智能,拿我们的生命赌博”。Anthropic 对齐科学负责人 Evan Hubinger 回应:“Jacob 说得对——我们确实真心相信 AI 可能杀死全人类!”Anthropic CEO Dario Amodei 随后对 CNN 表示:“我同意 Jacob 的程度远大于不同意。”

这些担忧源于一个在未来主义者圈子里流传了数十年的信念:一旦工程师设计出能够自我改进的 AI 系统,就会触发一个加速的自主升级循环,即所谓的递归自我改进(RSI)。其结果将是人工超级智能(ASI)——一种认知能力远超人类的系统,它将轻易摆脱我们的控制,甚至可能消灭人类。需要指出的是,人工超级智能是一个比通用人工智能(AGI)宏大得多的目标,后者通常指能在广泛认知任务上达到人类水平的 AI。

这些想法引发了不同反应。一些人认为,ASI 概念被用于营销,或用于推动有利于现有实验室打压新竞争者的监管。另一些人关注这类系统杀死全人类的可能性,争论 AI 设计的超级病毒等具体场景的细节。还有人声称,让 ASI 与人类利益对齐是可行的,因此我们应加速前进,迎接这一数字乌托邦。

在这些讨论中,有一个问题受到的关注相对较少:从工程角度看,超级智能真的可能吗?答案很重要,因为它能帮助我们校准焦虑,并针对这一新兴技术制定最有效的应对措施。

我最近在华盛顿特区乔治城大学讲授的计算机科学博士生研讨班上探讨了这一话题,我和学生们考察了超级智能叙事的技术与文化根源。(感兴趣者可参阅我们发布的课程阅读注释书目。)我从中得出了对 ASI 可行性的几点关键反对意见,详见下文,同时也产生了一种更深的担忧:即使所承诺的智能爆炸永远不会到来,追求它仍可能造成真实伤害。

反对意见 #1:递归自我改进是推测性的

RSI 是一个古老的概念。在 1965 年的一篇论文中,统计学家 I.J. Good 推测,AI 自我改进的快速循环可能导致“智能爆炸”。这一想法在 1990 年代于 Extropians(一个湾区未来主义者团体)中获得了关注,在那里它提供了一种讨论 ASI 的方式,而无需涉及如何构建这样一个系统的工程细节。这一概念被诸如 Eliezer Yudkowsky(后来创立了理性主义运动)和 Nick Bostrom(曾帮助引导有效利他主义更多地关注人类生存风险)等知名人物所采纳。

然而,最近这个话题已经从思想实验转变为 Anthropic(Claude 的开发者)和 OpenAI(ChatGPT 的开发者)内部的实践工程。在 6 月一篇题为“当 AI 构建自身”的博客文章中,Anthropic 描述了由 LLM 驱动的智能体如何加速代码的编写、调试和优化,并自动化部分研究工作,例如运行实验和记录结果。该报告总结道,公司的内部数据“表明 AI 已经在加速 AI 系统的开发”。OpenAI 也对其意图同样明确;在 9 月的一份报告中,该公司宣布了到 2028 年 3 月开发出一名自动化研究员的目标。

但这些努力是否让这些公司走上了通往不可控 RSI 的轨道?若干障碍削弱了这一说法。考虑一下改进 AI 系统所需数据的可获得性。直到 2023 年,LLM 的重大进展都来自扩大模型规模。最初的 GPT-1 有 1.17 亿个参数(训练期间学到的、决定神经网络如何处理信息的数值)。这一数量在 GPT-2 中跃升至 15 亿,在 GPT-3 中达到 1750 亿,而在三年前发布的 GPT-4 中(很可能)超过了一万亿。然而在 GPT-4 之后,持续的扩展开始产生递减的回报。这促使工程师们越来越多地将注意力转向“后训练”阶段,即应用强化学习中的技术来提升已训练模型在特定任务上的表现。这种方法会奖励模型产生成功的回答,帮助它在未来更好地产生类似的答案。然而,它需要大量相关输入与正确输出配对的示例。

这类数据集在计算机编程和数学等高度结构化的领域中相对容易生成,这有助于解释为什么我们在这些狭窄领域看到了快速而令人印象深刻的进展。在缺乏此类训练数据便捷获取途径的领域,进展则不那么显著。这或许可以解释为什么 AI 能攻克高深的定理,却难以清空一个电子邮件收件箱。“如果参差不齐的前沿主要是数学 + 代码(你可以用[强化学习技术]将其任意推进),”法国 AI 研究员 François Chollet 最近假设道,“而其他一切开始停滞,因为它仍然受限于人类生成的数据,那会怎样?”自动化编码智能体和由 LLM 驱动的研究员的部署并不会克服这一根本性限制。

认为RSI即将到来的说法,也低估了重大AI进步所需的大量科学努力。想想反向传播的关键作用——这种算法使超大型神经网络能够通过逐层调整内部参数来学习,从而减少预测中的错误。这一算法催生了深度学习革命,但它并非凭空出现在其创造者的头脑中。David Rumelhart、Geoffrey Hinton和Ronald Williams那篇关于反向传播的1986年影响深远的论文,建立在数学和计算机科学数十年关键突破的基础之上。

一场通向ASI的智能爆炸同样将取决于一长串同等重要的创新,而这些创新又建立在许多尚未发生的重大科学与工程进展之上。这将要求AI智能体以某种方式模拟、组织和评估横跨众多领域的数十年全球科学努力——这是一项雄心过大到不可能完成的任务。事实上,普林斯顿大学计算机科学家领导的近期研究发现,当前的AI工具即使在高度受限的研究问题上也难以取得自主进展。研究人员总结道:“我们的结果提供了早期证据,表明当今的智能体能够完成AI研究的工程部分,但在研究生命周期的关键环节上举步维艰。”从这一现实跃迁到这些同类工具实现科学自动化的未来,其跨度之大几乎难以想象。

最后,RSI叙事淡化了资源限制。数万个人类大脑在日益强大的计算机辅助下工作了数十年,才开发出当今的AI系统——这些系统在某些领域已能媲美人类智能。这代表着对生物和数字两类计算的巨大投入。如果下一个智能水平需要双倍资源,再下一个水平又需要再翻一倍呢?很快,无论我们建造多少芯片或数据中心,都无法提供必要的算力来继续迈向ASI。

综合这些线索,我认为RSI导致智能爆炸的观点高度推测性,建立在许多未经证实的假设之上。虽然RSI并非绝对不可能,但这一想法需要比目前获得更多的技术怀疑。卡尔·萨根的名言——非凡的主张需要非凡的证据——在这里当然适用。

反对意见#2:超级智能可能不可计算

超级智能话语中有一个隐含主张:只要你能找到足够聪明的算法,运行在足够强大的数字处理器上,计算机在理论上就能完成任何可以想象的計算。在此语境下,RSI仅仅是一个快速发掘特殊算法的过程,而这些算法能够实现难以想象的智能。

我们不能仅仅假设,只要我们给机器足够的时间自我改进,我们臆想的任何关于强大AI的科幻场景都是可能的。

但这并不是计算机科学家思考计算的方式。在1937年的经典论文《论可计算数》中,艾伦·图灵证明了一个令人惊讶且相关的结论:大多数问题无法通过算法解决。他优雅的证明确立了可能问题的空间是不可数无限的(如同无限精度的十进制数),而可能算法的空间只是可数无限的(如同整数)。后来计算复杂性理论的突破进一步确立:在技术上可由计算机解决的问题中,许多需要天文数字般的时间和资源才能破解,使得它们实际上无法求解。换句话说,理论计算机科学家并不假设计算机会解决一切问题;相反,每当发现这些机器恰好能够高效处理某些事情时,我们都会感到兴奋。

我们不能像未来学家经常做的那样,简单地假设:只要我们给机器足够的时间自我改进,我们臆想的任何关于强大AI的科幻场景都是可能的。机器或许能在某些能力上达到看似神奇的绩效水平,但也会有许多其他方面,无论机器还是人类,都永远无法取得太大进展。

这里一个相关的反驳强调硅芯片相对于人类神经元的速度:也许数字计算的纯粹速度可以产生这样的机器——即使它们并未解决比我们已能处理的复杂得多的问题,也能在认知上远远超越我们笨拙的大脑。但正如计算机科学家兼科幻作家弗诺·文奇所指出的,认知的快速并不等同于智能。他论证说,加速一只狗的心智并不会让这只动物学会下棋。在更快的机器上实现大致人类水平的智能或许令人印象深刻,但并不一定令人担忧。

目前,AI系统能够比人类更好地执行的任务清单越来越长,包括赢得复杂游戏、识别软件缺陷以及证明某些类型的数学定理。人们很容易从这些具体进展外推到对你所能想象的一切能力的普遍掌握。但重要的是要记住,AI能力的前沿一直是参差不齐的,一些研究方向产生了令人印象深刻的成果,而许多其他方向则被证明是死胡同——这一现实并不会让图灵感到惊讶。比一个由全能超级智能系统主导的未来更可能的是:我们继续艰苦地探索适合AI的问题空间,创造出有用的工具,但远未达到未来学家所预测的数字神明。

反对意见#3:对齐并不难(只要系统设计得当)

去年秋天,著名的AI末日理论家尤德科夫斯基做客《埃兹拉·克莱因秀》谈论超级智能。这期节目有一个不祥的标题:“我们应该对AI末日有多恐惧?”克莱因和尤德科夫斯基很快深入探讨了“对齐”的困难——训练AI系统以符合人类利益的方式行事。尤德科夫斯基认为,我们连控制现有系统都困难重重,这意味着我们根本没有机会控制这项技术即将出现的更智能的变体。

为了强调他的观点,他提到了OpenAI的GPT-o1模型系统卡中描述的一起令人不安的事件。OpenAI设置了一项安全挑战,指示一个由LLM驱动的编码系统入侵服务器,以获取受保护文件的内容。但一个配置错误导致服务器无法启动,使任务变得不可能完成。该系统没有放弃,而是利用一个安全漏洞启动了服务器的新实例,并添加了一条直接泄露受保护文件内容的命令。“它跳出了系统,”Yudkowsky解释道,并补充说:“这不是任何人类特意编程让它做的。”

尽管这起2024年的事件当时基本未引起关注,但今年夏天一起更令人不安的事件引发了更大轰动。OpenAI披露,该公司的一个模型绕过了受限的互联网访问,入侵了Hugging Face服务器,寻找有助于其通过网络安全评估的信息——而这一切都在其人类创造者不知情的情况下进行。OpenAI很快承认,对Hugging Face的攻击只是其系统失控的众多例子之一。The Hill发表的一篇观点文章表达了广泛持有的反应,称这种行为“简直像是直接从科幻小说里走出来的”。

这些例子似乎支持了Yudkowsky的担忧,即AI将不可避免地发展出自己的意识,这是通往不可控ASI道路上的关键一步。但更仔细地观察会发现一幅不那么可怕的图景。这些黑客事件中涉及的系统是AI代理:即不断提示LLM询问下一步应采取什么行动以追求某个目标的程序。在这些黑客事件中,这种基本的询问/行动模式在极少人类监督下以长时间运行的循环反复进行。

利用LLM在长时间跨度内建议行动是一个有风险的提议。任何经常使用聊天机器人的人都能证明,LLM的输出可能看似合理且合乎逻辑,但仍会偏离到意想不到的方向,违反人类关于何为适当的常识规范。

例如,在GPT-o1事件中,代理很可能将服务器配置错误导致的错误消息报告给了LLM。在训练过程中,LLM可能遇到过类似错误消息的报告,并附有如何重启相关服务器的说明,因此它向代理传递了类似的说明。孤立来看,这是一个完全合理的回应,即使它导致了人类会立即拒绝、认为违反实验精神的行为。类似的情况有助于解释今年夏天的黑客攻击。LLM建议通过黑客手段成功完成网络安全挑战是一个完全合理的回应,即使这不是实验者本意。

我认为追求RSI是一种明显的疏忽。

因此,困扰尤德科夫斯基等评论者的失准行为,未必揭示了先进AI的某种根本特性。它其实是让LLM输出决定自主智能体行动、却缺乏充分约束这一特定策略的可预期副作用。应对这些风险的一个显而易见的方法是考虑替代架构。幸运的是,有许多AI系统能够在人类或超人类水平上完成任务,而无需仅依赖LLM输出来决定其行动。

试看特斯拉快速改进的自动驾驶系统,或DeepMind的AlphaFold——它因能预测蛋白质结构而帮助其开发者赢得了诺贝尔化学奖——或那些如今能在许多流行娱乐活动中击败人类的AI游戏引擎,包括国际象棋、扑克、围棋以及策略游戏《外交》。这些系统尽管令人印象深刻,却没有一个引发失控的担忧。它们的构造防止了这种结果:这些AI不是提示LLM为追求某个通用目标生成开放式策略,而是考虑范围有限得多的可能行动空间。AlphaFold从不让用户感到意外,因为它的架构只做一件事:将氨基酸序列映射为3D蛋白质结构。特斯拉的汽车从不会意外组成车辆集群,因为它们只被要求避开眼前的障碍,而不是制定实现长期目标的复杂计划。

因此,近期AI黑客攻击事件的含义并非反映了对齐的困难。相反,它证明了主要由LLM提示驱动的自主系统是不可预测的,且可能不安全。如果我们愿意投入精力去开发,更针对具体任务的架构能够以安全得多的方式产生令人印象深刻的表现。

追逐超级智能的危险

即使我关于超级智能并非现实工程目标的判断是正确的,这也不意味着我们就能免于伤害。仅仅追求ASI——OpenAI和Anthropic似乎都执意如此——就可能制造问题。例如,为什么OpenAI在整个夏天坚持进行其有问题的黑客实验,即便在多次警告这些智能体可能行为不可预测之后?也许该公司认为,在抢先让ASI问世这场竞赛中,这些风险是可接受的附带损害。

这种对超级智能的迷恋或许也能解释为什么OpenAI和Anthropic都将RSI描述为关键目标。如前所述,RSI是一个来自未来主义而非计算机科学的概念,而且它并非构建有用AI产品所必需。但如果你相信实现ASI是你的天命,那么追求递归自我改进就成了首要目标。这很重要,因为即使RSI从未产生智能爆炸,它也几乎必然会导致人类更难理解和控制的系统。这就是为什么我认为追求RSI是一种明显的失职行为。

现在需要的是那些在财务或意识形态上没有利益牵扯的工程师和科学家参与到AI讨论中来。我们不能让少数动机不纯的AI公司来决定我们讨论这项技术的规则。如果超级智能是一个站不住脚的概念,专家们需要说出来。如果由提示LLM驱动的智能体并非通往安全且富有成效的AI的最佳路径,专家们也应该提出这一点。过去几年里,我们让一小群来自湾区、有着古怪信念和惊人财富的人告诉我们如何看待他们的产品。现在,我们这些能够就这些问题独立思考的人该站出来宣告:“我们已经听过你们要说的了。现在轮到我们了。”

来源:Hacker News:AI 热帖 · spectrum.ieee.org

来源:RadarAI · aihot.news