Mercor 研究：90% 美国工作时间对应的任务缺乏 AI 基准覆盖

基准地图

每个方块代表构成美国劳动力的 923 个 O*NET 职业之一，归入 22 个职业族。职业的着色依据是其任务在我们初始 AI 基准列表中出现的比例。一个基准提示词可以映射到多个 O*NET 任务。

全部 22 个职业族

点击一个职业族以展开

覆盖率依据

至少覆盖

• 基准指数
• 无覆盖

22 个中的 1–12 个

在我们的数据集中：只有 923 个职业中的 208 个拥有至少 5 条基准提示词的任务，且 22 个职业族中有 6 个没有此类职业。

我们的发现表明，美国 90% 的工作时间花在现有基准覆盖很少或没有覆盖的任务上。这使得我们很难了解 AI 模型在美国人实际从事的工作上表现如何。

现有基准的覆盖也并非随机。我们的地图表明，AI 社区正优先关注最大的劳动力市场：

例如，我们初始列表中的基准大量覆盖了受 AI 影响的律师任务，但几乎未覆盖同样受 AI 影响的法律秘书或法庭书记员的任何 O*NET 任务。规模较小、中等收入的知识工作职业的长尾似乎覆盖不足。

随着我们逐步构建对经济中各领域模型能力的覆盖，我们希望既能揭示、也能帮助填补我们对模型能力理解中的更多空白。

方法简述

为了将经济拆分为部门、职业和任务，我们使用了美国劳工部的 O*NET 分类法。O*NET 将美国劳动力划分为 923 个职业；对于每个职业，O*NET 试图提供构成该职业的“任务”的完整列表，所有职业合计 18,797 项任务。

为了衡量基准覆盖率，我们首先从一份包含 29 个基准的列表开始，这些基准因其质量和经济相关性而被选中。（完整列表和选择标准见 Benchmark Index 标签页）。在为该列表选择基准时，我们优先考虑：

• 公开可用性。 纳入的基准至少有 25 个公开可用的任务。我们还纳入了 Mercor 的 APEX 基准，因为我们可以访问其留出的基准提示词，从而能够将它们映射到 O*NET 任务。
• 智能体任务。 纳入的基准要求模型执行智能体任务，而不是回答问题或就如何完成任务向用户提供建议。
• 经济现实性。 基准任务类似于人类（或智能体）在现实企业中被频繁要求完成的任务。具有经济价值的任务优先于学术上复杂的任务。
• 经济多样性。 我们限制了每个职业类别中纳入的基准数量，这在很大程度上是为了应对流行基准中软件工程和研究任务严重过度代表的问题。
• 难度均衡。 基准尚未被前沿模型完全饱和。

继 Wang 等人的工作之后，我们随后让一个 LLM 评判员为每个基准提示词标注它认为与该提示词对应的尽可能多的 O*NET 任务。我们使用 Mercor 的 APEX 基准（本 29 个基准列表的一个子集）上的人类专家标注来验证我们的 LLM 标注。在基准地图上，如果一个 O*NET 任务被我们的 LLM 评判员映射到我们 29 个基准中的至少 5 个提示词，则该任务被视为“已覆盖”。

为了估算美国人在本列表基准所覆盖任务上花费的工作时间总占比，我们将我们的覆盖率估算与 Hatgis-Kessell 等人基于 LLM 得出的每个 O*NET 任务工作时间占比估算相结合。

关于我们方法的更详细说明可在 Methodology 标签页中找到。

局限性

我们对总体经济覆盖率以及覆盖率模式的估算，都来自我们最初选择的 29 个基准列表。这并不是更广泛的未饱和、公开、智能体经济基准总体的完整或完全具有代表性的样本。任何不完整的列表都必然会使经济覆盖率的估算偏低，而且很难界定这种偏差的范围。因此，我们想强调，这些结果是暂定的。随着我们扩展初始基准列表，我们将更新这些结果。

我们还限制了每个职业类别中纳入的基准数量，以最大化覆盖广度。我们认为这使我们对全经济范围基准覆盖率的估算更准确，代价是使我们对基准最多的职业类别（例如软件工程）的覆盖率估算偏低。

通过选择未饱和的基准，我们有可能低估 LLM 更容易完成的 O*NET 任务上的基准覆盖率。另一方面，如果饱和是任务现实性较低的下游结果，那么纳入饱和基准则有可能高估基准覆盖率。鉴于基准常常高估 LLM 在现实世界部署中的表现，后一种说法似乎很可能成立。我们认为，纳入饱和基准所带来的偏差会大于排除它们所带来的偏差，但两种选择都不理想。

最后，虽然我们在 Benchmark Index 标签页中概述了基准选择标准，但若干标准（如“经济现实性”）难以形式化，并在我们的选择中引入了一定主观性。

覆盖范围中的模式

我们索引中的基准对整体经济的覆盖相对深入但狭窄。它们不成比例地聚焦于最易受 AI 自动化影响的经济任务（依据 Eloundou et al. 的衡量），被评为“暴露”的 O*NET 任务出现在基准中的可能性约为被评为“未暴露”任务的 6 倍。这很合理：基准旨在衡量 AI 进展，而 AI 进展最可能出现在最易受 AI 影响的任务上。这解释了为何基准中充斥着软件工程和金融分析任务，而卡车驾驶和天然气厂运营任务却很少。

但即使在控制 AI 暴露度之后，来自工资总额更大职业的 O*NET 任务在基准提示中仍显著过度代表：

在控制职业和 AI 暴露评分后，O*NET“任务重要性”是基准覆盖率的另一个预测因子。具体而言，O*NET 任务附带领域专家对其职业重要性的 1-5 分估计。我们发现，被评为最重要的任务出现在基准中的可能性约为被评为最不重要任务的 6-10 倍：

上述图表表明，迄今为止，在用于高质量、与经济相关的基准测试的相对有限资源上，这种分配是合理的；优先制作覆盖那些工资总额最大的职业中最重要的、且受 AI 影响最大的任务的基准测试，是很自然的。但除非此类基准测试的数量和多样性显著增加，否则这些模式将导致我们对具有经济价值的模型能力的看法出现重大盲点。

O*NET + 基准测试能告诉我们 AI 在你工作上的表现有多好吗？

按职业衡量模型能力至关重要——对于决定哪些模型符合自身需求的企业、对于预测 AI 经济影响的政策制定者，以及对于思考自身职业发展的美国人而言都是如此。遗憾的是，这是一个很难解决的问题。

我们可以尝试对与某一特定工作相关的所有基准提示上的模型表现取平均值。但正如我们的基准测试地图所示，基准测试对某些经济任务的覆盖远比其它任务密集。简单平均会给被频繁基准测试的任务过高的权重。

O*NET 提供了一种可能减少这种偏差的方法。如果我们按 O*NET 分类对与职业相关的基准提示上的模型表现进行加权平均，使得每个 O*NET 任务在我们的职业平均值中权重相等，我们就更接近一个代表真实经济表现的数值。

作为第一步，我们在Mercor 的 APEX 基准测试上对四个职业尝试了这种方法：投资银行、法律、会计和软件工程。我们将 O*NET 加权分数与模型在与每个职业相关任务上表现的简单平均值进行比较。得到的加权与未加权分数总体上相当接近：

至少在这种情况下，O*NET 加权带来的变化非常小。模型在 APEX 提示上的表现，在上述加权得分所包含的各 O*NET 任务之间相似，这限制了重新加权的价值。然而，上述 4 个职业相关的 O*NET 任务中，只有不到 ⅓ 拥有足够的 APEX 覆盖，能被纳入我们的加权得分。我们希望将 O*NET 加权应用于更大规模的基准测试集，从而得到高质量的特定职业模型得分，并正朝着这一目标努力。

然而，即使我们纳入来自数十个基准测试的任务，仍有若干障碍：

1. 01

   我们如何应对统计功效不足的问题？

   美国经济中所做工作的巨大广度意味着，对于任何 O*NET 职业和任务，我们的基准项目相对较少。这意味着我们的估计本质上效力不足，仅仅一两个低质量项目就可能严重偏倚我们的分数。

2. 02

   我们如何考虑任务的不同难度和保真度？

   一些基准项目高度饱和，而另一些仍未解决。这部分是时间因素（因为较旧的基准是为性能较弱的模型和更简单的环境设计的），部分是质量因素（一些基准项目评分过于简单、有轻微错误，或可以被奖励黑客攻击）。我们目前还没有明确的方法按质量加权。

3. 03

   主要衡量 AI 自动化的评估能否推广到增强？

   在现实世界中，AI 模型仍主要由人类使用，而不是端到端自动化整个工作职能。因此，衡量模型在现实世界中的职业能力，理想情况下应包括衡量模型在多大程度上增强人类生产力。我们已经完成了这一方向的一些早期工作，但找到一种可扩展的方法仍然困难。

4. 04

   每个 O*NET 职业和任务都能用基准来衡量吗？

   知识型工作非常适合通过基准来衡量，因为它主要在数字机器上完成，如笔记本电脑和手机。Dingel 和 Neiman 估计，只有 37% 的美国工作可以完全在家完成，这表明约 63% 的工作涉及一些具有物理世界成分的任务，这些任务很难纳入当前的基准。目前，这可能不是一个有意义的疏忽——随着机器人能力的快速发展，我们预计对物理任务基准的需求将显著增加。

我们正在积极解决这些问题；如果你也在做，请联系我们！

我们感谢 Wang 等人 的 O*NET 标记方法，并感谢 Nathan Lambert 对本文草稿的反馈。

APEX 通讯

前沿 AI 性能的最新动态，直接发送到你的收件箱。

新的基准、排行榜变化，以及 APEX 团队的研究。