METR 报告称 Anthropic 模型自我加速研发,但关键证据被删节
Why a new report on Anthropic automating AI development is alarming researchers
AI 安全研究机构 METR 在 Anthropic 内部调查 11 周后发布报告,称 Anthropic 的模型改进速度约为一年前的两倍,过去一年取得了约两年的历史进展,且研究者确信加速主要来自 AI 而非算力扩张。
METR 在 Anthropic 内部调查 11 周后给出 AI 加速自身研发的量化证据,也暴露了报告被大量删节带来的透明度争议。
译文尚不完整,完整内容请切换到原文。
Anthropic 正在用 AI 构建更强大的 AI。而这一做法似乎成效显著,该公司的模型改进速度约为一年前的两倍,且几乎没有放缓的迹象。
这一结论来自 AI 安全研究组织 METR 于周四发布的一份新报告。该报告基于在该公司内部进行的为期 11 周的调查,是其评估该公司 AI 研究与开发工作的一部分。这项调查独立于另一项计划——该计划在今年夏天发生备受关注的黑客事件后,向安全研究人员提供“类似员工”的系统访问权限。
这些发现提供了迄今最清晰的证据之一,表明 AI 正在加速自身的开发,并引发了关于这项技术能以多快速度迈向一个 AI 系统几乎无需人类参与即可自我改进的未来的疑问。这些发现出炉之际,对 Anthropic 而言正值关键时刻——该公司正准备上市,而其 CEO Dario Amodei 却公开呼吁各实验室放慢 AI 开发步伐。
然而,尽管这份报告难得地让人一窥全球领先 AI 实验室的内部运作,它省略的内容同样耐人寻味。作为与 METR 协议的一部分,Anthropic 获准对最终报告的部分内容进行涂黑处理,而该公司似乎大肆行使了这一权力,这引发了外界质疑:公众对前沿 AI 开发的速度——以及风险——究竟了解多少。
以下是几个最重要的要点。
AI 正在大幅加速 Anthropic 的研发
METR 最值得注意的发现之一是,Anthropic 的 AI 模型改进速度约为一年前的两倍,基准测试分数表明“Anthropic 在过去一年里取得了大约相当于历史上两年的进展”。关键在于,METR 的研究人员表示,他们“确信”这种加速并非仅仅源于训练模型所用算力的扩大——而算力历来是 AI 进步的主要驱动力。
相反,研究人员表示,截至 10 月,大部分加速“归功于 AI”,且其贡献随时间推移不断增长。这一发现得到了非正式 Slack 投票和对 Anthropic 员工访谈的支持,这些证据指向了可观的生产力提升。METR 写道,使用 Anthropic 内部最强模型的员工平均自报,其各自工作效率约为没有 AI 辅助时的 12 倍,大约是几个月前员工使用 Mythos 5 时所报告水平的两倍。
目前,这种加速似乎主要来自 AI 对人类研究人员的辅助,而非 AI 独立工作,不过 METR 警告称,“有一些迹象表明,完全自主的贡献很快将发挥更大作用。”值得注意的是,研究人员表示,他们未发现明显的收益递减迹象或可观察到的瓶颈,这些因素可能阻碍“更快的加速”。
Anthropic 最新的三款 AI 模型仍未公开
Anthropic 的研究人员正在使用比我们其他人更先进的 AI 模型,METR 所描述的许多加速和生产力提升都可归因于未发布的内部模型。
据METR称,在过去六个月里,Anthropic已完成三个尚未发布的模型的训练。开发节奏很快,这三个模型代号分别为Model 2、Model 3和Model 4,分别在7月、8月至9月以及9月至10月完成训练。METR还发现了一个可追溯至2022年的未发布模型,名为Unreleased 2022。“这些是分享给我们的代号;我们了解到它们有不同的内部代号,”研究人员写道。
Anthropic对关键信息保密
作为研究流程的一部分,Anthropic让METR获取了大量非公开信息,包括机密研究、模型性能数据和员工访谈。Anthropic并无义务这样做,而且按METR自己的说法,这家AI实验室“分享的信息超出了本项目最初的范围,超出了我们的预期。”这值得称赞,但值得注意的是,Anthropic并未给予研究人员不受限制的访问权限,也没有提供它在上个月宣布的另一项独立计划中承诺给予其他METR安全研究人员的那种“类似员工”的访问权限。鉴于公司即便在附带重大限制的情况下也能从独立评估中获得声誉收益,这是一个重要的区别。
而且确实存在重大限制。Anthropic有权删改METR最终报告中的信息——而且它广泛行使了这一权力。“我们向Anthropic提交了一份约100页的完整评估报告。对于公开版本,Anthropic删改了我们发现的、最具信息价值的大部分证据,”METR在X上写道。
METR在整份报告中反复提及这些担忧,并强调了其访问权限的其他限制。“我们的信息渠道相对狭窄,我们的一小部分数据请求被拒绝了。”
METR多次强调,Anthropic的删改决定影响了其传达研究结果的能力,也影响了其他人评估该公司状况的能力。它指出,许多被删改的证据可能“有多种合理解释”,使公众难以评估其研究结果、理解围绕这些结果的不确定性,并自行判断证据。“由于(删改),公众不得不比理想情况下更多地依赖METR的判断,考虑到这里所回答的问题的分量,”报告称。
METR在报告中表示,Anthropic为删改给出的理由是,发布这些信息可能让其竞争对手受益。然而,METR表示“大多数被删改的信息都非常高层级”,尽管它称自己无法评论这些删改在商业上是否合理。
“我们删改了很多内容,我承认这让他人更难核查METR的工作,”Anthropic联合创始人Sam McCandlish在X上一则回应METR研究结果的长帖中承认。“但我们认定,准确分享是什么推动了这一加速并不合适,既因为这是商业敏感信息,也因为这可能为其他人提供加速发展的路线图,”他说,并补充称这样做会让METR所担忧的风险“更糟”。
McCandlish 表示这是一种权衡,但坚持认为 Anthropic 在决定隐去该信息时做出了“正确的决定”。他说,公司计划“在未来几周内”发布自己关于 AI 进展速度的报告,以及其为加强安全所采取的新措施。
Anthropic 正在加速其警告为危险且快于许多人预期的这项技术
METR 报告的发布在 AI 安全研究人员和评论人士中引发了强烈反弹,焦点大多集中在 Anthropic 的 AI 方针核心处一个明显的矛盾上:该公司一直是安全与负责任开发最直言不讳的倡导者之一,然而报告显示,它正在帮助加速这项技术迈向许多人认为危险的门槛,同时似乎未能兑现自身对透明度和问责制的承诺。
对一些人来说,这些发现表明,即便是该领域对 AI 进展最激进的预测也可能过于保守。它们表明,递归自我改进——即 AI 系统能够在无需人工干预的情况下自主开发出越来越强大的后继系统,从而可能大幅加速发展——可能比此前认为的更近,这引发了人们对现有安全措施能否跟上步伐的担忧。虽然 METR 的报告仅涵盖 Anthropic,但 OpenAI 在 9 月表示,它正朝着在 2028 年 3 月前构建出一个能够“进一步推进深度学习和对齐研究”的 AI 研究员这一目标“取得强劲进展”。
该报告提供了证据,说明 AI 加速自身发展的速度究竟有多快
Apollo Research 首席执行官兼创始人 Marius Hobbhahn 告诉 The Verge,该报告表明 AI 赋能的研究与开发速度甚至快于 AI 2027 中的预测,后者是一个颇具影响力的情景设想,预计在 2027 年初实现迈向自我改进的关键突破。他说,这份报告之所以引起如此大的关注,是因为它为一件一直难以确定的事情提供了证据:AI 究竟在以多快的速度加速自身发展。Apollo Research 为多家领先 AI 实验室进行 AI 安全测试。
Hobbhahn 表示,这些发现与业内许多人的预期大体一致,或许略快一些。科技政策研究中心 GovAI 的高级研究员 Alan Chan 告诉 The Verge,这些发现应促使怀疑者重新考虑他们对 AI 加速 AI 发展的立场,并可能缩短他们对我们将拥有能够完全自动化软件工程等任务的系统的时间预期。
On X, other researchers commented on the rate of acceleration and its implications for AI development. Sydney Von Arx, founder and CEO of AI safety organization The Nightingale Collective and a former METR researcher, also compared the findings to AI 2027’s timeline. Ryan Greenblatt, a METR researcher formerly of AI safety organization Redwood Research and one of three external researchers permitted to investigate OpenAI’s hack of Hugging Face, said he “was seriously wrong about RSI speed up; I previously expected much less in 2026.”
对 Anthropic 安全方针的不满情绪日益高涨
除了强调 AI 发展的速度之外,这份报告还加剧了人们对 Anthropic 在推动这一进展中所扮演角色的不满情绪。该公司一直是负责任 AI 发展最积极的倡导者之一——也从不讳言呼吁他人放慢脚步——但自身似乎却在飞速前进。这份报告只是加剧了上月发布的 IPO 招股书和未来计划本已引发的紧张情绪。
Anthropic 以披露更多信息可能帮助竞争对手加速自身发展为理由,对报告进行了大量涂黑处理,这一决定引发了虚伪的指责。前 OpenAI 研究员、现运营 AI Futures Project(该机构发布了AI 2027)的 Daniel Kokotajlo 指责 Anthropic“鲁莽地拿我们的生命赌博”,并补充说,该公司以他人进展更快为由涂黑信息“实在可笑”,因为它“似乎根本没有放慢多少”。
Anthropic 拒绝回答The Verge关于该报告及随之而来的批评的问题,而是让我们参考 McCandlish 的帖子。
这些涂黑处理也再次引发了加强对前沿 AI 实验室透明度和独立监督的呼声,今年早些时候,在一系列涉及失控 AI 智能体的事件之后,这一呼声升至新高。AI 政策与战略研究所前沿安全研究主任 Brianna Rosen 告诉The Verge,令人担忧的是,实际上是企业在而非政府在决定 AI 研究自动化的走向。“要让民主监督发挥作用,独立评估者需要自由解释他们为何得出这些结论,政府需要自行评估证据,公众必须信任这一过程,”Rosen 说。“这份报告在证据方面不够透明。”
要求 AI 实验室提高透明度的压力正在加大
Hobbhahn 赞同 Rosen 的担忧,表示对这份报告的许多反应源于 Anthropic 公开的安全立场与其行动之间明显存在的差距。他指出,该公司决定取消部分评估,该评估旨在衡量其将多少算力分配给安全工作、多少用于提升能力。METR 表示,该公司称“这是因为希望暂时将合作重点放在风险评估上,之后会重新审视算力分配验证。”
对 Hobbhahn 而言,这一事件凸显了独立安全研究人员更深入地嵌入 AI 实验室、并获得大量内部系统和证据访问权限的必要性。尽管他的组织将从这种安排中受益——Apollo 正采取措施成为前沿实验室的嵌入式评估者——但呼吁加强对 AI 发展监督的远不止他一人。
其他人则呼吁采取更直接的行动。作为回应这份报告,塑造民主党 AI 议程的关键人物、纽约州众议员 Alex Bores 呼吁国会“禁止 RSI,如果可能的话今年就禁”。随着民主党蓝色浪潮——其中许多人以反对 AI 公司为竞选纲领——即将上任,更严格限制的前景是非常现实的可能。
而随着 AI 研究几乎没有放缓的迹象,压力势必会进一步加剧。Hobbhahn 表示,他从这份报告中还得到了另一个启示:“为疯狂做好准备,”他说,“事情会发展得非常快”,很可能快到社会或政治都难以跟上。
关注本报道中的主题和作者,以便在个性化首页信息流中看到更多类似内容,并接收邮件更新。
- Robert Hart
来源:The Verge · AI · theverge.com
