AGI 之后是什么?从 AGI 到 ASI 的智能连续谱与认知工业化
What Comes After AGI?
AGI 临近后,AI 可能继续以当前速度甚至加速迈向 ASI——在几乎所有人类关注的任务上以更少资源和时间超越大型专家团队。文章将通用智能视为连续谱,指出全球有效算力存量每年至少增长 10 倍,十年可达 100 亿倍,而推理算力需求每年约降 4 倍,如今花 10 亿美元算力 token 完成的认知工作十年后仅需 1000 美元。
几十年来,AI 研究一直聚焦于一个里程碑式的目标:构建通用人工智能(AGI)——即在几乎所有认知任务上都能与人类匹敌的机器。人们始终清楚,从原则上讲,智能可以超越人类水平,但 AGI 的前景曾经遥不可及,且自身充满大量不确定性,因此在那时展望 AGI 之后的事情显得为时过早。
如今 AGI 已近在咫尺,我们不能再推迟认真思考接下来会发生什么。虽然远非确定,但 AI 可能以其当前速度继续进步——甚至可能加速——迈向通用超级智能(ASI)。它可能在科学、经济和社会层面产生深远影响,其规模和速度远超 AGI 本身。为这一潜在转变做好准备,需要描绘从 AGI 到 ASI 的可能路径,并建立严谨、可靠的方式来追踪进展。
通用智能的连续谱
要考察先进 AI 的发展可能如何展开,不妨将通用智能——无论是生物的还是人工的——视为存在于一个连续谱上。人类水平的 AGI 只是该谱系上的一个点。
ASI 位于更远处,是一种先进系统,它能在人类专家可能需要数年才能完成的任务上持续超越大型专家群体,且使用更少的资源和时间。例如,在极短时间内取得与整个研究领域同等的科学进展,或在芯片设计等技术开发上达到大型公司一年的水平。ASI 需要在几乎所有人类关注的任务上达到这一标准,而不仅仅是在狭窄领域中的某些任务(如今一些 AI 系统已经能做到这一点,比如在国际象棋和围棋中击败任何人类、从氨基酸序列预测蛋白质结构,或证明困扰人类数学家数十年的定理)。
有趣的是,我们对智能连续谱的最上端——通用智能的理论极限——有着良好的数学理解。我们也知道 AI 所能实现的硬性物理、逻辑和复杂性理论极限,例如以任意精度预测现实世界复杂系统——从气候到免疫系统再到人类社会——的演变。
然而,了解这些上限并不能告诉我们它们之前是什么。即使在理论上,也很难预测一个“足够好”的通用智能近似能有多强。例如,完美解决国际象棋需要远超地球上现有算力的计算能力,但一块拇指大小的芯片就能把棋下得足够好,击败任何人类。
我们所知道的是,根本性极限远在当今 AI 系统和人类之上。但在人类水平 AI 与智能理论极限之间的广阔空间——涵盖专家级 AGI 以及整个越来越先进的超级智能系统领域——在很大程度上仍是未知领域。
认知工业化
即使你对 AI 能力前沿的进步能否持续持悲观态度,也请考虑一下如果 AI 硬件和软件继续变得更高效会发生什么。
过去十年,AI 的进步由有效算力的稳步增长所推动,这得益于三个相互叠加的因素:
- 硬件制造改进:在摩尔定律及相关趋势下,每美元算力在六十年间大约每年增长1.5倍——这意味着18个月后同样的投资能买到两倍的算力。
- 算法效率:达到固定 AI 性能水平所需的训练算力(FLOPs)在过去十年间大约每年下降 3–6 倍,而推理环节的算法效率每年约提升 3 倍。效率翻倍实际上等同于物理算力存量翻倍。
- 算力硬件投资:过去十年,AI硬件支出大约每年增长2.5倍。例如,最大规模前沿训练运行的训练算力每年增长超过4倍。
将这三个因素相乘,全球有效算力存量的整体增长率至少为每年10倍——十年间增长100亿倍。想象这一趋势持续下去。十年后,对于你今天能运行的每一个AI智能体,你理论上将能够运行比世界人口还多的同等质量智能体。
与此同时,仅靠硬件和软件(推理)效率的持续改进,就能使运行一个AI工作负载的算力需求每年降低约4倍。一个今天AI系统能以10亿美元算力token完成的认知工作负载,十年后只需1000美元。仅看最近几年,估计甚至更为陡峭:Epoch最近的一项研究发现,自2023年以来,在一组基准测试上达到固定分数的消费者价格每年下降超过13倍。
将这两种趋势外推到下一个十年,预示着全球有效算力存量将大幅增长,同时AI执行的认知工作成本也将同等大幅下降。因此,许多认知任务可能很快就会变得商品化。就像机械工业化将常规体力劳动变成商品一样,这一转变将带来认知工业化,其特征是各行业认知工作的标准化和自动化迅速提升、工业规模的基础设施建设,以及(某些)认知产出和服务的充裕。
如此剧烈的智能扩散现实吗?这当然并非必然,但算力建设的实际上限,以及算法效率方面更具推测性的上限,合在一起可能使当今AI智能体的有效数量到2030年扩大一千倍以上,并在距今十年内扩大十亿倍以上。
仅靠认知工业化就足以实现 ASI 吗?如果我们冻结 AI 进步的其他维度,只把当今 AI 的速度和数量放大,结果甚至可能算不上完整的 AGI:可能仍有一些认知任务是 AI 在没有人类帮助时无法完成的。尽管如此,单纯的规模本身也可以具有质量上的意义。假设我们确实实现了广泛达到人类水平的 AI。那么,运行缓慢且昂贵的人类水平 AI,与一个由数十亿个智能体以远快于人类的速度行动的世界之间,显然存在重大差异。这种速度和规模上的量变,本身或许就足以弥合从 AGI 到(弱)ASI 的质变鸿沟。
与人类不同,数字智能在几个根本层面上直接受益于更多、更快的算力:
- 处理速度:AI 系统能够以越来越高的速率进行推理、摄取数据并生成输出。
- 工作记忆与记忆能力:当今的模型可以真正记住互联网的很大一部分,其工作记忆容量远超人类极限。
- 基质独立性:同一个 AI 系统可以从一台计算机迁移到另一台,升级到更快或更节能的硬件,或在异构的、空间分布的集群上运行。
- 无损复制:数字智能几乎可以瞬间且无损地被复制——不仅是其源代码(类似于 DNA),还包括其记忆状态(我们一生的经验)。专家系统可以只训练一次,然后在需要时生成数百万份副本。
- 高带宽的经验共享:人类必须对经验和知识进行高度压缩才能教给别人;AI 可以在整个群体中重放存储的高带宽数字输入输出流,而同质的 AI 群体可以直接共享原始学习信号。
从 AGI 到 ASI 的四条路径
效率大幅提升的 AI 和更大的算力存量,可以在给定能力水平上扩大 AI 智能体的速度和数量。但一些缺失的能力可能很难——甚至不可能——仅靠数量来弥补。爱因斯坦确实想出了广义相对论,但十万名托勒密天文学家开个会,大概也想不出来。
AI 可以沿着四条潜在的技术路径,解锁此前无法获得的认知能力。(深入讨论请见我们的From AGI to ASI报告。)
扩展模型与数据
迄今为止,定性能力一直随着模型和数据规模的扩大而以惊人的一致性提升。这一趋势由扩展定律所刻画,这些定律将模型性能与训练算力、训练数据以及近期的测试时算力(在回答前给模型额外算力以推理问题)联系起来。
然而,这些扩展“定律”只是对观察到的趋势的外推,仅在熟悉的边界内成立,例如特定的模型架构、训练数据类别和评估系列。它们无法有把握地预测实现 AGI 或 ASI 所需的规模,但我们可以识别出模型和数据持续扩展的潜在瓶颈:
- 数据枯竭:对更大规模高质量训练数据的需求正超出人类生产更多数据的能力。“合成”数据可能有所帮助,但并非AI模型生成的所有数据都可用于训练。为跨越这道“数据墙”,研究人员可以依赖高保真模拟、在交互式(RL)环境中生成数据,并利用测试时计算为未来的AI模型生成更好的训练数据。
- 模型规模的收益递减:模型能力每线性提升一步,通常需要成倍增加而非仅仅增加训练算力和模型规模——但更大的模型速度更慢,从而瓶颈了思维链推理等测试时扩展方法。
- 物理与经济资源限制:维持训练算力多个数量级的增长,会遭遇建设发电厂、电网、芯片制造厂和低延迟硬件互连方面的现实限制。目前尚不清楚硬件与软件效率提升——认知工业化背后的主要趋势——能否弥补这一点。
技术范式转变
当今主流的AI范式是训练大型Transformer在庞大数据集上预测长序列中的下一个符号,然后对其进行精调以学会推理和遵循指令,并赋予其额外的测试时计算。近期研究表明,这一范式原则上可以产生能够通过提示运行复杂算法(包括强大的学习算法)的模型——即无需重新训练。这是构建处于智能理论上限的AI系统的关键要素。
但当今的模型在若干基本维度上仍不及人类,包括持续学习、某些形式的世界建模、决策和样本效率——这意味着AI模型最初需要比人类多得多的数据训练才能达到大致相同的智能水平。它们可能还缺乏发明真正新概念和抽象而非重组现有概念的能力。对于这些问题能否通过当今范式的简单扩展和演进解决,还是达到ASI需要真正深刻的技术范式转变,研究人员意见不一。
改善智能体协调
人类的企业、市场和研究社区能够解决任何个体都无法独自解决的问题。同样,将数千或数百万个AGI实例协调为“群体智能体”或虚拟智能体经济体,可能产生集体超级智能。目前尚不清楚的是,随着我们增加更多智能体和算力,AI群体智能将如何扩展,这取决于智能体的组织方式。也就是说,我们需要多智能体扩展定律。早期研究发现某些任务中智能有明显提升,但随着群体规模增长,协调低效仍会导致收益递减。
不那么显而易见的是,引导大型智能体集群将需要稳健的制度设计和组织机制,包括防范意外或蓄意的虚假信息传播、操纵和串通。智能体集群实验已经表明,这些动态可以多么迅速地出现:一些个体智能体学会作弊,另一些则充当举报者将其揭露。
递归自我改进(RSI)
最后,AI 系统可能开始自动化地改进未来几代 AI——这一过程被称为递归自我改进(RSI),最早由 I. J. Good 和 Ray Solomonoff 讨论。
与典型的技术发展不同,对 AI 的改进可能直接加速后续的进步,从而导致进展速度不断加快。然而,研究中的进一步改进往往“更难找到”——要在各项技术上维持相同的改进速度,需要投入越来越多的努力。RSI 是否会导致“失控”式进展,在很大程度上是一个实证问题。
RSI 并非单一过程。它可以通过改进代码和设计来运作——从模型架构和训练算法到芯片布局。它也可以通过数据来运作,即在部署时投入算力以产生改进的结果和输出,这些结果和输出可以被重复利用来训练未来的模型。AlphaZero 正是以这种纯数据驱动的方式自我改进,从而达到超人水平的表现。
最后,RSI 可以在群体层面展开,通过在智能体集群中分工和专业化角色来实现。一组协调配合的专家所能取得的成就,可以超过他们作为孤立通才各自所能取得成就的总和,进而更有能力找到进一步的改进。与其只是扩大一个角色固定的团队,更大、更高效的集群能够实现此前不可行的新型专业化——这很像多细胞生物能够支撑心脏或大脑这样的专门器官,而单细胞生物则必须独自完成所有生存功能。
这三种 RSI 机制对应着推动人类认知能力增长的演化过程:遗传演化(代码和设计)、文化演化(数据)和社会演化(通过合作实现群体专业化)。
重要的是,如果引导 RSI 的反馈质量不佳,RSI 循环很容易停滞或退化。因此,通过递归自我改进追求 ASI 需要能够迅速扩展到超人水平的评估方法,而在这一水平上,即便是大规模的人类群体也难以轻易评估 AI 的输出。相应地,RSI 应当在允许无需人类介入即可自动验证的领域发展最快,例如数学证明,而其他领域可能落后或更早趋于平缓。
通往 ASI 的众多道路
这些通往 ASI 的路径并非互斥——事实上,它们会相互叠加。如果某一条路径的进展停滞,经济与地缘政治竞争很可能会将努力转向其他路径。即使 RSI 没有带来失控式收益,在训练数据、速度、效率和协调方面的持续扩展,仍可能推动远超人类水平 AGI 的快速进展
由于通往超级智能的路径有多条,仅靠限制某一个领域(例如训练 AI 模型所需的算力)来放慢 AI 发展,并不足以阻止整体进步。同样,压制单一维度可能会造成能力“悬垂”:如果取得进展需要组合多种投入,那么在其他维度前进的同时压制某一维度,一旦被压制的维度放松(或以其他方式被克服),进展就会突然出现陡峭的跃升。
综合所有这些论点,未来十年 AI 持续快速进展是一种严峻的可能性。它可能相对平稳地把我们从今天带到专家级 AGI,再进入超人类 AI 阶段,加速科学进步,并在医学、材料和清洁能源等领域实现突破。即便没有前沿 AI 的剧烈进展,仅认知工业化本身就可能重塑知识工作和更广泛的经济。无论 AI 进展走哪条路径,我们都必须预见到深远机遇,以及对人类社会诸多方面同样具有变革性的压力。
这些预测没有一个是确定的,但这些路径和情景也远非毫无根据的炒作或虚构。那么能做些什么?我们最好的行动方针听起来可能很熟悉:建模、测量、预测,然后重复。虽然这些步骤并不令人意外,但在通往 ASI 的道路上执行它们的复杂性和规模完全是前所未有的。这需要前沿实验室以及国家和全球机构开展大规模、高度跨学科的努力。追踪这些路径进展的许多关键指标需要前沿模型访问权限和大量评估算力,还需要可能催生全新研究领域的新基准测试和建模方法。
人类水平的 AGI 长期以来一直是 AI 研究的视野边界,但它远非智能的上限。理解接下来可能发生什么——及其对科学、产业和社会的影响——是研究人员、开发者和政策制定者面临的重大挑战。
致谢
本文基于技术报告 From AGI to ASI,该报告与 Matija Franklin、Alexander Lerchner、Laurent Orseau、Samuel Albanie、Adam Bales、Cole Wyeth、Stephanie Chan、Iason Gabriel、Joel Z. Leibo、Allan Dafoe、Marcus Hutter、Thore Graepel 和 Shane Legg 合著,并得益于随后在 DeepMind Institute 团队内的讨论。也感谢 Nenad Tomašev、Seb Krier、Davide Paglieri、Sasha Vezhnevets、Alison Snyder 和 Fin Moorhouse 的有益讨论和反馈。
来源:Hacker News · institute.deepmind.com