Nathan Lambert：AI 将快速进步，但不会走向通用超级智能

Nathan Lambert：Interconnects· Nathan Lambert·2026-10-10 05:33· 1 小时前AI 评分53

我预期会快速进步，但不会走向通用超级智能

AI 导读

Nathan Lambert 撰文认为 AI 将在基础设施和工程能力上快速进步，未来几年模型会成为超人的分布式 GPU 工程师，但这不会让模型在本质上发生巨变，也不指向通用超级智能。

正文

我常常感到惊讶，当我听到业界顶尖研究人员说，他们认为 AI 在几年内会比他们更擅长自己的工作，而我其实并不清楚自己为何对此存疑。我得到的解释是，研究人员正看到模型在基础设施和工程能力上的巨大加速。我完全同意，几年内模型将成为超人的分布式 GPU 工程师。这将使对模型构建方式的实验和摆弄变得容易得多，但不会让我们的模型在本质上发生巨大变化。

在某些方面，Ilya 宣布 AI 进入研究时代算是早的。如今有了编码智能体，研究变得容易多了。这种便利来自一种灵活且引人投入的不同工作形式，它标志着一个时代的开始：好的想法可能比软件中的良好执行更有价值。

立即订阅

我们在这条路上还处于非常早期的阶段。这也不是该领域第一次经历 AI 更偏向“研究”还是“工程”的平衡转变。在深度学习起飞之前，AI 也更像是一种研究事业。如今，最优秀的研究人员众所周知是凭其在复杂基础设施中实现和扩展自己想法的能力来评判的。我们即将经历几年间的巨大加速，届时瓶颈将越来越少地来自工程。有人称之为 RSI，但更接地气的形式不过是“并行化、AI 辅助的语言建模”。你不需要认同起飞情景，也能看到基础设施改进将有多大，以及这将如何改变 AI 工作的性质。

本文的目标是概述为什么这种工程加速将会发生，并谈谈它不会完全解决什么。即使我们在数学和编码之外得不到具有经济价值的超人特质，这也将极大地推动该技术向经济中的扩散。这种近期进展很大程度上来自用现有工具扩展推理时计算，而不是模型在研究能力上的戏剧性跃升。

AI 训练和推理栈的许多部分都非常可验证。训练指标如每 GPU 每秒 token 数，也就是训练速度。推理指标看起来像是每个提示的 token 数、每个 token 的 FLOPs，或者实际上就是每个答案的成本。这两者都非常可优化，尤其是因为已有既定的子问题和架构权衡可以改进它们。我预计 AI 智能体将在几年内帮助端到端地优化这一过程，届时我们的推理能力将非常接近 GPU 等加速器上可实现的最大底层算力。在过去几年中，公司在推理效率上能获得的收益已经非常巨大，例如在宣布某个价格点后，将模型服务成本节省约 10-30%。整个技术栈将产生复合效应，我预计未来几年模型智能的有效成本将接近指数级下降（可能比近期趋势更快）。

这些唾手可得的效率提升应该只需几年就能被捕获。更长期将是加速器与模型在更长时间线上的协同设计，这将在灵活的 GPU 平台之上额外带来几个数量级的效率提升。在效率快速提升的这段时间里，GPU 的灵活性应该是有益的，因为架构探索空间似乎很重要，并且像是自动化研究的一个主要杠杆。一个预测是，预训练研究——至少是架构和数据选择方面，以服务于我们当前这一类模型——在 2-3 年内实现自动化，对我来说是合理的。

所有这些都将成为智能体模型杰文斯悖论的巨大触发因素。我预计需求只会增加，因为该行业在很大程度上受限于如何找到更好的方式来定位和交付智能体。Meta 的 Muse 智能体是这一点的早期指标，我们应该期待面向不同受众和目标用例的更多类似 Muse 的体验。它的价值来自理解智能体如何工作，而不是推动性能前沿。

在更广泛的科学文献中，如生物学和化学领域，等效阶段将是一个由模型发现大量跨子领域发现所定义的时代。AI 模型在爬取文献并在稀疏网络之间建立联系方面具有超人能力，而这些网络目前由很少互动的小型科学家社区管理。这将预示着一个科学发现新时代——例如治愈大多数癌症——还是加速科学原本就已踏上的轨迹，两者之间只有一线之隔。

另一个工业规模的低垂果实是提高 RL 环境的总体质量。你不用找多远，就能看到又一家新的 RL 数据公司收入突破 1 亿美元或 10 亿美元。它们比我预期的要多得多。该行业的平均产出质量低得惊人。无数研究人员都同意，他们购买的很多东西坦率地说是垃圾。与此同时，领先实验室从购买这些数据中看到了明确的投资回报。

许多 RL 环境糟糕的方式显然是可以修复的。

来源：Nathan Lambert：Interconnects · interconnects.ai