跳到正文
Hacker News· yurivish·· 3 小时前精选AI 评分78

AI正在大幅加速AI研究:METR报告解读

AI is dramatically accelerating AI research

AI 导读

METR 一份关于 Anthropic AI 研发加速的深度调查显示,2025 年 10 月至 2026 年 10 月间 Anthropic 的能力进展速度约为此前十二个月的两倍,作者据此认为 Anthropic RSP 中“AI 导致进展大幅加速”的门槛已被跨过。

推荐理由

作者基于METR报告推算AI对研究劳动的加速倍数,并讨论这一趋势对时间线与安全门槛的含义。

正文 · AI 翻译

本文讨论 METR 关于 Anthropic 内部 AI 研发加速的公开报告。我未参与该项目,也未看过未删节版本。1所有观点仅代表我个人,不代表 METR 或报告作者。

感谢 Ryan Greenblatt 的讨论、反馈及建模协助,以及 Daniel Kokotajlo、Eli Lifland 和 Hjalmar Wjik 的评论。

本周早些时候,Anthropic 在其 S1 中表示,他们“可能即将达到”其《负责任扩展政策》所定义的“因 AI 而大幅加速进展”的门槛。在其最新版 RSP(2026 年 7 月生效)中,该门槛的达成条件为:

  1. 他们观察到或预期整体能力进展速度达到 AI 对 AI 研发贡献尚小之前最快持续速度的两倍。2

  2. 这可以合理归因于 AI 自动化 AI 研发,而非算力或其他投入的加速。3

过去几个月,我在 METR 的一些同事一直在进行一项深度访问调查,以了解 Anthropic 被其 AI 系统加速了多少。根据我对其报告和 Anthropic RSP 的阅读,看起来“大幅加速”门槛已经被跨过。4

报告作者发现:

  1. 2025 年 10 月至 2026 年 10 月间,Anthropic 的能力进展速度约为此前十二个月的两倍。他们报告的衡量指标是Epoch Capabilities Index的内部版本,称为 AECI;大量其他支持加速的证据已被删节。他们表示,这些被删节的证据是“我们发现最具信息量的证据中的大多数”。

  2. 虽然加速起初可能由多种原因共同推动,但 AI 自动化很可能是如今能力仍以更快速度提升的绝大部分原因。他们相信这一点的理由已被删节。

这件事比乍听起来要重大得多。我认为这份报告是过去几年里我们获得的关于 AI 风险的最重要更新——远比Hugging Face 攻击事件重大。粗略来看,它指向的时间线比大多数外部研究者(包括AI 2027 团队)所预测的要短得多。

重要的是,如果 AI 大致将整体能力进展速度翻倍,那么它加速人类研究者的幅度必然远 大于此。

研究人员致力于改进算法和架构;Anthropic 有时将这些创新称为“算力乘数”。5 整体 AI 能力(“有效算力”)是算力乘数与训练算力的乘积。由于算力乘数只是能力的一个输入,这意味着如果 AI 能力因软件进步而整体上以两倍速度提升,那么算力乘数的增长率需要超过两倍:基于合理假设,或许要快约 2.5-3 倍。6 由于加速幅度及其有多少来自 AI 存在不确定性,我倾向于取约 2-3 倍。

同样,研究人员的劳动只是发现这些算力乘数的一个输入:他们需要测试自己的想法,而这需要算力来做实验。如果我们假设一个非常简单的 Cobb-Douglas 模型,其中实验算力和劳动同等重要,这意味着对劳动的提升大致需要是算力乘数加速倍数的平方。7 这意味着我们需要约 (2-3 倍)^2 = 约 4-9 倍的劳动加速,才能使整体 AI 能力提升两倍。8

然而,一旦能力开始显著加速,这也意味着低垂的果实会以相应更快的速度被摘走。每获得一个新的算力乘数,都需要越来越多的工作来发现和实现(即“想法越来越难找”)。在 AI 带来大量加速之前,劳动大致通过雇佣更多人类以某种大致固定的指数速率增长。结合算力的增长,这足以抵消收益递减,从而维持能力进步的基线速率。但要在不加快算力扩展的情况下维持新的更快的能力进步速率,我们就需要整体劳动以新的更快速率增长。

由于人类劳动力基本上仍以旧速率增长,仅为了将能力进步维持在新速率上,来自 AI 的提升就需要随时间推移越来越大。这意味着在 AI 带来数月加速进步之后的今天,提升幅度9 需要甚至高于约 4-9 倍——即在开始时使进步翻倍所需的估计值:也许必要的劳动提升约为 10 倍。这非常不确定,显著更高或更低都是可能的。但这与 Anthropic 员工的非正式自我报告惊人地吻合,他们表示现在从内部模型的使用中获得了约 12 倍的提升。

当你想象10倍提升时,你不应该想象每个研究员现在都变成了一支十人团队——任何做过任何事的人都知道,十人团队每小时完成的有价值工作并不会是一个人的十倍。相反,就好像Anthropic的每个研究员都身处一个时间扭曲气泡中,外界每过一天,他们就经历十天。 就好像AI让他们思考、阅读、说话、打字以及做其他一切事情的速度都快了十倍。10Anthropic很可能无法通过雇佣任意数量的人来将其研究加速到这种程度。11

一个合理的默认预期是,随着AI能力持续提升,AI研究员将因自动化而越来越快地被加速:如果今天他们需要一个月才能完成过去一年完成的工作量,那么很快将只需一周,然后或许只需一天。如果这种不断增强的劳动提升足以克服收益递减,那么在不存在其他瓶颈的情况下,它将转化为AI进展速度更大的加速:进展速度将开始快4倍,然后8倍,然后16倍,以此类推。

报告作者对这个问题非常不确定,并表示随着新信息的出现,他们的看法多次改变。但最终,他们没有发现会阻碍复合加速的瓶颈或急剧收益递减的证据。12他们还报告看到一些(令人困惑的)经删减的证据,表明加速可能已经超过2倍,并随时间推移而增加。

如果我们表面接受AI目前几乎使AI能力进展速度翻倍,并假设来自AI的加速是平滑的,这朴素地意味着我们将在一年内达到极端的超级智能。似乎大约一年的AI进展让我们从温和的加速走到了AI现在使AI进展速度大约翻倍的地步。如果来自AI的加速正在平滑增长,那么在这个新速度下,我们应该预期在六个月内再次将进展速度翻倍。到那时,再次翻倍将需要三个月,然后六周。13

理论上,这些翻倍时间加起来将在一年内达到无限能力。现实中,在某个时刻我们会达到软件效率的有效上限。但我预计这些限制离我们目前的位置非常遥远。

如果我们经历这个反馈循环,我预计从另一端出来的AI系统将能够非常迅速地开发新型武器,并在冲突中非常轻易地压倒人类文明。如果这些系统严重失准,我认为它们很可能剥夺人类的力量,这可能导致人类灭绝。

“因 AI 而急剧加速的进展”是一个如此重要且极端的里程碑,因为它是近期极端能力的一个强有力的具体指标。事实上,在 Anthropic RSP 的早期版本(2025 年 5 月)中,AI 研究自动化所命名的最高风险阈值(AI R&D-5)对应的是一个略弱的里程碑。14根据旧的 RSP,Anthropic 在达到 AI R&D-5 时,至少需要具备足以“防范国家级对手窃取模型权重”的安全水平15。

我同意,无论是模型权重还是算法机密本身,极强的安全性都是明年经历智能爆炸的最低前提条件,否则将面临杀死数十亿人的极大风险。AI 行业距离这一标准还差得很远:OpenAI 和 Anthropic 最近都遭到了业余团体的重大安全入侵。除了强大的模型权重安全之外,我还认为我们需要具备普遍覆盖的稳健日志记录与监控、可靠的测量手段来评估可监控性、针对监控器串通的有效反制措施、有原则的对齐训练技术并辅以极具说服力的模型生物或可解释性来理解这些技术的效果、用于控制进展节奏的治理基础设施(如果我们发现这些对齐与控制干预开始失效)……以及许多其他措施,才能以任何负责任的方式接近智能爆炸。

遗憾的是,支撑这些结论的大部分重要证据都已从本报告中删减。分析上的取舍不可避免会充满困难,报告作者也表示这些证据往往令人困惑。

我相信我的同事们以细致严谨的态度梳理了他们所看到的内容,我也基于这份报告做出了重大更新。但我希望更多底层证据能够透明公开,这样读者就不必依赖信任。我们可能已经没有多少时间就时间线和起飞速度达成共识了,而当外部科学家无法检视数据并检验他们自己的模型时,达成共识会困难得多。

1

由于我可能还看到过其他与时间线和起飞速度相关的机密信息,我将只讨论公开证据的含义,而不分享精确的底线预测。

2

确切条件是:“我们观察到或预期,AI 总体能力的进步速度,是我们原本预期的速度的两倍,同时也是我们在 AI 对 AI 研发没有显著贡献的情况下所观察到的最快持续进步速度的两倍。”我的理解是,之所以要同时满足这两个条件(进步速度既是反事实情形的两倍,也是没有太多 AI 辅助时最快持续速度的两倍),是为了排除这样一种情况:如果没有 AI 自动化,能力提升的速度本会大幅放缓,但我们借助 AI 带来的巨大提升,设法让原有的趋势延续了下去。

3

确切条件是:“这种翻倍有相当大一部分可以合理地归因于研究和/或工程的自动化(而非其他因素,例如人员增加、算力增加或一般生产率提升),因此 AI 进步趋势的延续似乎很可能带来更大的加速。”

4

这个阈值的定义有点繁琐,部分原因是必须满足两个加速条件(相对于反事实的加速,以及相对于过去的加速)。但按字面理解,我最好的猜测是它已经满足了。

METR 报告的作者估计,相对于过去,进步速度大约翻了一倍,但他们只把当前加速的大约 80% 归因于 AI,这意味着在他们撰写报告时(2026 年 10 月),相对于没有 AI 的情形,观察到的加速的中心估计约为 1.8 倍。

但他们也发现,AI 的贡献一直在随时间增长,我猜现在(截至 2026 年 11 月)它已经明显更高了。即使进步速度此刻还没有完全达到反事实情形的两倍,这个阈值也包含了合理的预期(“我们观察到或预期进步速度翻倍……”)。

5

Anthropic CEO Dario Amodei 在这篇文章中解释了算力乘数的概念:“这个领域不断涌现出大大小小的想法,让事情变得更有效或更高效:可能是对模型架构的改进(对当今所有模型都在使用的基础 Transformer 架构做一点调整),也可能只是让模型在底层硬件上运行得更高效的方法。新一代硬件也有同样的效果。这通常做的是移动曲线:如果这项创新是一个 2 倍的‘算力乘数’(CM),那么它让你花 500 万美元而不是 1000 万美元就能在编码任务上达到 40%;或者花 5000 万美元而不是 1 亿美元达到 60%,等等。每一家前沿 AI 公司都会定期发现许多这样的 CM:经常是小型的(约 1.2 倍),有时是中型的(约 2 倍),偶尔有非常大的(约 10 倍)。”

6

这是我的同事 Ryan Greenblatt 在这里所做的建模的简化版本。他的数字基于他此前对软件与训练算力的重要性、劳动力与实验算力的重要性等因素的公开先验建模。

7

Cobb-Douglas 的常见表述通常将劳动衡量为人的数量。在这种表述中,需要在劳动之上额外加入一个并行化惩罚,而且系数加起来不等于 1。正如我在下文所讨论的,我选择用串行劳动加速而非人的数量来表示劳动;这一表述由 Ryan Greenblatt 在这篇文章中提出。

8

为了让数学计算简单,我直接假设劳动和实验算力贡献相等(即算力乘数 = (劳动)^0.5 * (算力)^0.5)。这意味着你需要对算力乘数中的加速进行平方,才能反推出劳动的加速。我给出的范围省略了贡献大小的不确定性:例如,如果劳动贡献了 ⅔,你就需要改为将其提升到 3/2 次方。

9

我说几个月而不是整整一年,是因为报告作者表示,2025 年末最初更快的进展在很大程度上是由其他因素造成的,尽管当前的加速主要归因于 AI。

10

在实践中,10 倍的提升不太可能是均匀的:某些任务(例如更“可爬山式”的任务)的加速会远大于其他任务,从而使净生产力提升相当于 10 倍的均匀加速。

11

也就是说,任何实际存在的人数。我猜如果你能把所有现有研究人员克隆几百次,那可能就足够了,但世界上并没有那么多强大的 AI 研究人员和工程师。

12

摘自该报告:“一个关键担忧是,使用 AI 带来的加速可能会开始复合,因为开发能力更强的模型会导致进一步的加速。如下文所述,我们没有发现任何明显的瓶颈(会阻止进一步增长的有限投入),也没有发现进一步扩展会遭遇陡峭的收益递减,从而阻碍这种复合加速,尽管我们的理解在这次评估过程中多次演变,并且我们存在显著的不确定性。因此,我们认为存在重大风险:进一步的能力进展可能在未来一年导致更快的加速。”

13

这一启发式论证与一些简单但合理的模型相一致,在这些模型中,递归自我改进使 AI 进展速率相对于累积 AI 进展(例如有效算力的对数)呈指数增长;这里是该启发式论证的推导,针对此类模型的一种参数化形式。

14

AI R&D-5 被定义为:“能够导致有效扩展速率出现剧烈加速的能力。具体而言,如果我们观察到或预测到世界上能力最强模型的有效训练算力在一年内的增长,相当于 2018 年初至 2024 年初期间平均进展速度的两年,即属此情况。我们粗略估计,2018-2024 年的平均扩展速度约为每年 35 倍,因此这意味着实际或预测的一年扩展幅度为 35^2 = 约 1000 倍。”它较弱,是因为它与固定的 2018-2024 时期相比较,而不是与未出现显著 AI 加速时观察到的最快速度相比较,并且它在技术上并不要求你将任何成果归因于 AI 才能达到该阈值。

15

最低承诺是达到RAND 的 ASL-4 安全级别;我的理解是,这一安全级别能够保护模型权重免受顶级国家行为体(例如中国)的常规行动侵害,但无法抵御最高优先级的行动。Anthropic 是这样描述的:“至少需要 ASL-4 安全标准(该标准可防范国家级别对手窃取模型权重),不过我们预计可能需要更高的安全标准。”

来源:Hacker News · planned-obsolescence.org