Mercor发布AI基准职业覆盖地图研究

Mercor 发布 Labor Index 的 Benchmark Map，将 29 个基准的提示词映射到美国劳工部 O*NET 的 923 个职业和 18797 项任务上。结果显示，923 个职业中只有 208 个有任务被至少 5 条基准提示词覆盖，22 个职业族中有 6 个完全没有此类职业。据此，Mercor 称 90% 的美国工作时间花在现有基准几乎未覆盖的任务上。 该研究纳入的基准需至少有 25 项公开任务，并包含 Mercor 可获取留存提示词的 APEX 基准；Mercor 还限制了每个职业族纳入的基准数量，以应对热门基准中软件工程与研究任务过度集中的问题。Mercor 强调这些结果只是初步的。

AI 根据报道生成 · 1 天前更新