跳到正文
MIT Technology Review · AI· Grace Huckins·· 1 天前AI 评分60

METR 更新 AI 时间跨度图,新增开放式任务评估

The most misunderstood graph in AI just got a major update

AI 导读

AI 评估非营利组织 METR 更新了其时间跨度图,新增了人类完成时间更长、更开放的任务。报告显示,前沿模型能完成的任务时长仍约每四个月翻倍,但在设计 AI 评估、给哲学论证打分等需要判断力的任务上,模型表现不及人类,没有一个 AI 设计的评估被 METR 员工认为可用于研究。最新模型如 Opus 5.5 在这类任务上达到“勉强过线”水平,一年前所有模型都“明显低于标准”。

正文 · AI 翻译

AI评估非营利组织METR的一份新报告发现,一些AI能力正沿着指数轨迹持续提升——但报告也表明,模型在需要判断力的任务上并不像在编程任务上那么出色。

该报告是对该组织“时间跨度图”的更新,这张图曾被广泛传播——也被广泛误读,原因在于其采用的衡量指标过于复杂。METR评估模型的方式是让它们尝试一大套任务,每项任务也都由人类完成过。每项任务的难度根据人类测试者完成它所需的时间来评分——然后根据模型能够完成的任务时长来给模型打分。那张图显示,AI系统正在快速进步——每四个月,前沿模型能够成功完成的任务时长就翻一番。

更新后的图增加了更多任务——有些任务估计需要人类花费远比原始任务集更长的时间,另一些则更加开放式。当前AI领域最大的问题之一是,“可验证”任务——即可以自动检查AI系统成功还是失败的任务——上的进展在多大程度上能延续到成功或失败更难衡量的任务上。我们知道如何教神经网络完成可验证任务:研究人员让系统多次尝试,强化有助于成功的神经通路,削弱导致失败的通路。这就是为什么AI系统在编程和数学这两个可以自动判断解法是否有效的领域变得如此擅长。

要把这种被称为强化学习的技术应用到成功定义不明确或需要更长时间才能确定的任务上——比如选择新的研究方向——则要困难得多。出于同样的原因,评估AI在这些任务上的表现也很困难,因此METR最初的时间跨度图没有包含任何此类任务。但恰恰是这类任务,对于AI系统实现研发自动化至关重要。

而AI研发正是当下格外热门的话题。AI社区的部分人士仍对本月早些时候METR另一份经过大量删改的报告感到震惊,该报告声称AI可能正在将Anthropic的AI进展速度加快一倍。那份报告引发了担忧:这家公司(刚刚完成重磅IPO)可能很快就会实现完全的递归自我改进,即AI系统在无人类参与的情况下自主设计其继任者。

METR研究人员努力确保他们的新任务集包含一些更模糊、更依赖判断力的任务,这些任务可能与AI研发最为相关。在一项任务中,他们要求模型设计METR可用于其研究的新AI评估方法,然后由METR的人类员工对结果打分。尽管最先进的模型如今在软件工程上几乎比所有人都强,但在这里它们却表现不佳:没有一个AI设计的评估方案好到让METR员工认为对其研究有用。

在另一项任务中,模型必须为哲学论证打分。这项任务旨在衡量模型能在多大程度上做出良好判断——不过 METR 在报告中写道,员工们对于该任务与 AI 研发自动化的相关程度存在分歧。在这项任务上,模型同样未能达到人类的表现水平。

尽管给这些新任务打分很困难——而判断这些分数意味着什么就更难——但与我交谈过的专家们对 METR 将新型评估纳入其工作表示赞赏。“我们已经到了 AI 评估需要变得更有创造性的阶段,”计算机科学家、即将入职加州大学伯克利分校的教授 Sayash Kapoor 说。“努力拓展评估领域的边界是一个值得欢迎的变化。”

Kapoor 说,他并不意外地看到模型在更开放式的任务(例如设计一项 AI 评估)上表现不佳——在八月份的一篇预印本论文中,他和合作者报告称,AI 模型尚无法独立复现人类的计算机科学研究。而在周三的一篇博客文章中,OpenAI 报告称,其模型在员工分配给它们的真实世界任务上的表现,不如在 METR 原始套件中那些更简单、更可验证的任务上那么好。

不过,Kapoor 说,人们对于如何解读当前在易于验证和难以验证的任务上的表现差异仍存在分歧。尽管他认为研究品味——即选择有前景的问题、假设和实验的能力——将被证明是 AI 研发自动化的一大瓶颈,但其他人主张,在易于验证的任务上训练出来的模型最终也能成功完成开放式任务。而且,在可验证任务上的进展似乎并未放缓。

即便模型目前在开放式任务上确实落后于人类表现,这份新报告表明它们可能正在进步。一些最新的模型,例如 Opus 5.5,往往能在评估设计任务上达到 METR 所称的“略高于门槛”的表现——虽然尚不能用于 METR 的研究,但前景可期。仅仅一年前,每个模型都还落在“明显低于门槛”的类别中。

但由于这些开放式且高度依赖判断的任务在设计上和评分上都极为困难,METR 在其报告中收录的此类任务很少,这使得人们难以预测模型在这些领域是否以及如何继续进步。“我认为,我们观察到的改进确实告诉了我们当前的一些情况,”波士顿大学的语言学家兼计算机科学家 Najoung Kim 说。“但我还不确定该如何思考它该如何外推。”

METR 的技术人员 Matt Putz 表示,预测这类任务的进展很可能仍将十分困难。“就其本质而言,难以验证或充满判断的任务要难研究得多,尤其是难以量化,”他在一封电子邮件中说。“归根结底,我认为我们无法像对易于明确规定的[任务]那样,建立起同样清晰而稳健的趋势。”

总体而言,METR 显然正撞上在困难和规格不明确的任务上测试 AI 表现的实际困难——而这些恰恰是与 AI 研发自动化最相关的任务。METR 的时间跨度图通过评估人类完成该任务需要多长时间来给任务难度打分,而在最初的图表中,他们是通过实际让人尝试每项任务来测量这一数值的。

然而,在新报告中,完成时间大多是估算值,因为为可能需要数百小时、或只有少数专家才有资格完成的任务付费,成本高得令人望而却步,而且耗时巨大。其他任务则有更具体的缺陷——例如,在哲学论证任务中,只有一个人对大多数论证进行了评分,而智能体是根据它们与该特定个体的意见一致程度来评判的。如果调查更多专家,分数可能会发生变化——但这也同样耗时。

在难以验证或需要判断的任务上评估模型仍处于早期阶段。尽管与我交谈的专家们认为,将这些任务纳入 METR 最新的时间跨度图表是朝着正确方向迈出的明确一步,但他们一致认为,关于自动化 AI 研发是否可能到来以及以多快速度到来,我们仍远未获得任何确定性答案。“这种转向开放式任务的趋势是很有希望的,”Kapoor 说。但他补充道,“要真正获得更全面的理解,还有太多工作要做。”

来源:MIT Technology Review · AI · technologyreview.com