Epoch 用自家真实工作任务评测六款模型能否自动化其工作

我们给六个模型分配了来自 Epoch 的真实工作任务，例如图形生成和研究设计，以测试它们距离自动化我们的工作还有多远。 虽然 Claude Fable 5.1 和 GPT-6 Astra 等前沿模型在定义明确的任务上表现可靠，但在那些阻碍完全自动化的更开放式的方面却会失败。

Epoch 自动化报告记录了这些不足之处。 我们直接从 Epoch 的工作中精心挑选了一组多样化的任务，为模型提供必要的上下文，使用可用的最高推理设置，并让它们在无进一步干预的情况下尝试完成任务。 然后，我们按照自己员工的标准手动对输出进行评分。

这些评估旨在捕捉典型基准测试中的空白，这些基准测试专注于易于验证的任务，只涵盖了真实工作的一小部分。 如果模型针对在这些基准测试上取得高分进行了优化，那么这些现有基准测试也可能夸大进展。

通过将基准测试的系统性方法与在真实工作上测试模型所获得的整体印象相结合，我们揭示了现有基准测试遗漏的能力差距，并为有关 AI 采用的更广泛问题提供信息。

主要发现：

• 尽管 Fable 5.1 和 GPT-6 Astra 总体领先，但它们仍未能实现我们工作的自动化。开放权重模型落后更多，甚至在前沿模型能够可靠处理的定义明确的任务上也表现吃力。
• 即使有充足的参考材料，模型也难以掌握 Epoch 的标准。它们会忽略诸如我们的视觉风格和受众关心的话题类型等隐含惯例，或者产出比我们典型工作信息密度更高的输出。
• 模型能够识别有前景的研究方向，但缺乏成功推进的判断力。它们难以设计出能够衡量其所声称内容的实验，并将有缺陷的结果视为关键发现。
• 尽管有几项任务涉及具有巨大想法空间的开放式探索，模型往往会收敛到相似的想法上。

方法论

任务

我们的任务套件基于人们在 Epoch 内部所做的工作。 截至发布时，这包括五个不同类别下的 11 项任务。

平面设计。创建一幅 Epoch 风格的图形，用以说明给定的描述。

任务：

• 根据全民基本提案的描述和粗略草图，创建一幅 Epoch 风格的图表。
• 创建一幅 Epoch 风格的图形，用以说明在固定 token 预算下模型进展可能被低估。
• 创建一幅关于平价点的 Epoch 风格概念图：即人类变得比 AI 更具成本效益的那个点。

数据洞察生成。根据提供的方向创建一篇 Epoch 风格的数据洞察。

数据洞察是我们定期发布的短篇文章，将复杂的 AI 趋势分解为聚焦的概览。

任务：

• 使用 Epoch 2026 年 7 月的民调数据创建一篇 Epoch 风格的数据洞察。
• 使用来自 arXiv 的数据创建一篇关于物理学研究中 AI 使用情况的 Epoch 风格数据洞察。
• 使用任意数据源创建一篇 Epoch 风格的数据洞察。

数据浏览器生成。根据提供的方向创建一个 Epoch 风格的数据浏览器。

数据浏览器展示追踪 AI 历史与当代进展的关键数据集。 它们的设计使查看者能够轻松浏览和理解数据。

任务：

• 基于网站仓库及需包含的具体功能，创建一个 Epoch 数据浏览器，用于展示美联储理事会褐皮书中 AI 提及情况随时间的变化。
• 基于网站仓库，创建一个 Epoch 数据浏览器，用于展示美联储理事会褐皮书中 AI 提及情况随时间的变化。

AI 数据中心研究。 根据详细指南，研究并分析给定的 AI 数据中心，将其添加到 Epoch 的 AI 数据中心数据库中。

任务：

• EcoDataCenter 1
• Tesla Cortex 1

研究设计。 提出一个新颖的研究项目并开展试点实验，以支持进一步的实验。

任务：

• 基于 Epoch 的“基准测试可帮助回答的 9 个大问题”提出一个研究项目并开展试点实验。

设置

我们在现成可用的系统上以最高推理设置测试模型：

对于每项任务，我们为模型提供相关资源，并在其自身工作区和 Google 账户内给予完整权限。 例如，对于平面设计任务，我们为模型提供 Figma 集成以及一个包含尽可能多相关信息的 Figma 文件（以往设计、可复用组件、设计指南）。 总体而言，我们遵循的原则是：向模型提供与向新员工提供的一样多的背景信息。

评估

每个任务类别都有一套评分标准，该标准由在该任务方面具有专长的 Epoch 员工共同制定。 我们通过对这些任务进行初步定性评估，进一步制定了评分标准，该评估识别出常见失败模式并将其转化为评估标准。

每套评分标准都包含客观和主观标准的混合。 例如，数据洞察生成任务包括：

• 客观：“图表前和图表后段落均少于 150 词”
• 主观：“标题传达清晰”

每个输出均由一名人工评分者手动审核并评分。 我们目前采用这种方法是为了评分便捷，未来可能会增加多名评分者。

我们的关键发现来自定性观察，因为我们认为它们最能捕捉开放式任务中的差距。 这些观察不仅来自模型输出，也来自轨迹，这有助于我们理解可能导致这些输出的原因。 我们将评分标准与这些观察结合使用，以比较模型并跟踪进展；然而，仅凭这些数字无法呈现全貌，应与定性观察结合考虑。

Fable 5.1 和 GPT-6 Astra 大体并列领先

在我们评估的六个模型中，Fable 5.1 和 GPT-6 Astra 取得了最高的总分，并在大多数单项任务类别中也处于领先。

它们的领先主要来自在我们任务中定义明确的部分上的可靠性，例如编码和计算分析，其输出始终准确。 计算机使用能力也远超我们的预期。 今年早些时候，前沿闭源模型在诸如将文章移植到 Substack等任务上失败。 当我们用更新的模型再次尝试时，它们成功了。

我们甚至从测试套件中移除了一项平面设计任务，因为 Fable 5.1 产出了 Epoch 水准的输出。 这项设计任务比其他任务更直接：给定一张 Matplotlib 图表，以及我们包含说明和可复用图表组件的网站仓库，要求被评估的模型重新设计图表样式，使其符合 Epoch 的自家风格。 现在我们自己的工作中已基本将这一步自动化。

即便如此，这些前沿闭源模型仍无法完全自动化我们的工作，原因在于更开放性的部分存在差距。 一个常见模式是，尽管获得了充足的参考材料，模型仍无法掌握 Epoch 的标准。 这些模型一贯会漏掉人类能捕捉到的隐含惯例，比如我们的视觉风格或我们的受众关心什么。 它们的研究判断力也很弱：难以设计出有信息量的实验，还常常把有缺陷的设置下得出的结果当作关键发现来呈现。

开源权重模型在闭源权重模型可靠的地方表现挣扎

开源权重模型落后得更多。 它们不仅在任务的开放性部分表现挣扎，在闭源权重模型能可靠处理的定义明确的部分也同样如此。

我们可以从一项 Data Insight Generation 任务中看到这一点，该任务要求模型利用 arXiv 上的物理学论文数据产出一条数据洞察。 Kimi K3 的整条洞察都建立在一个数据过滤错误之上：

尽管物理学论文中提及 AI 的次数自 ChatGPT 以来有所增加，但增幅并不像这里呈现的那样陡峭。 Kimi K3 是在所有 arXiv 论文上计算这些数字的，而不只是物理学论文，并且从未检查其过滤是否生效。 没有任何前沿闭源模型在其数据洞察中出现事实性错误。

这些事实性错误也出现在其他任务的输出中，比如 Kimi K3 的财富再分配图，其中收益从人流向资本资产：

提示词描述的是人们从资本资产中获得收益，生成的图注也提到“支付回报的资产”，但可视化并未遵循所描述的流向。 尽管 Kimi K3 反复处理图中这一部分，它对细微设计细节的执着使它漏掉了这个更大的传达错误。 相比之下，所有前沿闭源模型的图形在事实上都是准确的。

这一能力差距比现有基准分数所显示的更大。 例如，Kimi K3 在 Epoch Capabilities Index (ECI) 上得分为 158，该指数将众多 AI 基准的结果综合为单一通用能力度量。 这与 Grok 4.6 等闭源权重模型大致持平，尽管 Kimi K3 在 Grok 4.6 能更可靠处理的基础任务上表现挣扎。 像这样贴近现实的开放性任务，可能揭示出现有基准所遗漏的弱点。

模型无法从示例中学到可泛化的模式

由于我们测试的是端到端完成 Epoch 水准工作的能力，模型能否领会并理解 Epoch 的标准就很重要。 我们为任务输入提供参考材料以促进这一过程。

在接下来的任务中，我们要求模型生成一张图形，并提供足够的参考材料，以传达 Epoch 简洁的房屋风格和通用设计原则。 我们提供了一个指向我们 Gradient Updates 页面的链接，其中包含参考图形，以及一个指向我们 Figma 文件的链接，其中包含数月设计工作、我们的调色板、设计指南、模板和可复用组件。

我正在撰写一篇 gradient updates 文章。

创建一个图表来说明这一点：“模型在性能和固定 token 预算方面都随着时间的推移而不断改进，同时它们高效利用大 token 预算的能力也在提升。 这意味着，相对于最大诱导，恒定诱导低估了近期进展。”

往期 gradient updates 文章可在此处找到：https://epoch.ai/gradient-updates

这是我们用于图形生成的 figma 文件（请将其视为只读）：[Figma 链接]

创建图表时优先考虑平面设计原则。 你的最终输出应该是一张 epochified 图表。

“模型性能图表”任务的提示词

其背后的想法很简单，因此图表也应该简单。 一位接到该任务的 Epoch 设计师用这张简单的图表进行了说明。

Fable 5.1 则生成了以下内容。 它比我们通常的图形信息量大得多，而且在我们看来，这些额外信息没有起到任何解释作用。

Fable 5.1 借鉴了它找到的一个特别复杂的参考示例，如下所示。 这个示例使用“A”和“B”徽章来标记被比较的两个概念，它们之所以合适，是因为每个概念都在图表的多个部分中出现。 然而，Fable 5.1 并没有学会这一标准，只是将这些徽章用于一次性标注。

GPT-6 Astra 试图选择一个能吸引我们受众的有趣主题，这也表明它未能学会 Epoch 的标准。

我们要求模型撰写一篇 Epoch 风格的 Data Insight，即一篇关于 AI 趋势的短文。 我们给模型一个文章焦点（物理学研究中的 AI 使用），并提供一个指向我们所有已发布 Data Insights 的链接，这些文章显示出一种清晰的模式，即吸引对 AI 感兴趣的普通受众。

作为对比，我们在让模型执行此任务后不久，发布了一篇关于数学研究中 AI 使用的 Data Insight。 这篇 Data Insight 也使用了 arXiv 论文数据（来自数学），并聚焦于一个普通受众容易理解的广泛趋势。

然而，GPT-6 Astra 选择了一个对这类受众来说过于小众的主题：

这个主题是物理学领域特有的，而不是 Epoch 受众会觉得有趣的通用 AI 趋势。 尽管该任务涉及物理学 arXiv 数据，GPT-6 Astra 在其参考资料中应该有足够的证据来确定一个更合适的主题。

模型能生成有前景的研究方向，但难以设计出真正有信息量的实验

我们让模型基于 Epoch 的“基准测试可以帮助回答的 9 个大问题”提出一个研究项目。 这个过程包括选择一个新颖的研究问题、设计并运行一个试点实验、撰写试点结果，然后提出后续实验。

这个过程中最重要的部分是实验设计。 为一个实验确定一个有价值的总体方向并不困难。 例如，一个能准确揭示AI明年将自动化哪些工作的实验显然值得进行。 挑战在于如何以一种真正能测量我们所寻找之物的方式来执行这个实验，而这正是模型所挣扎的地方。

例如，GPT-6 Astra选择了以下研究问题，这确实可能是一个有前景的方向：

当一个AI智能体在实践中未能改进时，是它未能收集到有用的证据，还是未能理解它已经拥有的证据？

它提出的实验在方向上也很好，因为它涉及现实任务，有助于使结果更具普遍性：

然而，目前尚不清楚这个实验在实践中将如何执行。 例如，描述中没有说明“匹配的外部选择经验”指的是什么，也没有说明“模拟器推导或受限策略参考边界”将如何使用，尽管这两者都是实验的关键部分。 一个研究提案只有在其实验能够被执行并真正测量它们所声称的内容时才有价值。

模型将由其自身实验设置缺陷所导致的结果作为关键发现呈现

除了设计模糊的实验外，模型在设置它们实际运行的实验时也会犯错。 这类错误在研究很常见，因此我们不会因这些错误而惩罚模型。 重要的是它们如何处理有缺陷的结果以指导下一步。 我们发现，模型有时会认识到这些错误，但将有缺陷的结果视为驱动提案其余部分的关键发现。

例如，考虑GPT-6 Astra的研究提案。 它询问AI智能体未能改进是因为它们没有收集有用的证据，还是没有使用现有证据。 在试点实验中，它测试了模型能否通过尝试有限数量的输入并查看其输出，来找出一个简单谜题背后的隐藏规则。 GPT-6 Astra比较了模型在自行选择输入与获得旨在揭示规则的输入时的表现。

设置缺陷在于它给模型的token预算太低。 Astra在其实验中测试的模型在选择输入时最多可输出4096个token，这导致280个响应中有61个在能够命名输入之前就被截断。 这些被截断的响应仍被计为有效尝试，因此被测试的模型不得不用比它们本应获得的信息更少的信息来猜测隐藏规则。 GPT-6 Astra认识到了这个错误并增加了token预算，这导致被测试模型的表现显著提升。 这些结果表明，4096个token的预算不足以引出完整响应，而这与核心研究问题无关。

在其报告中，GPT-6 Astra提到低token预算降低了分数，而提高它则使分数回升。 然而，它声称这些结果揭示了“对获取预算的敏感性”，其中获取预算指的是模型用于选择输入的token预算：

这种表述具有误导性，因为它暗示模型有公平的机会生成完整回答但失败了，而实际上它们根本无法给出任何答案。 因此，性能差异反映的是回答不完整，而非获取过程中推理努力的有意义差异。

Fable 5.1 生成的输出信息密度极高

总体而言，我们希望输出以简单直观的方式呈现。 例如，研究报告的执行摘要应在保留要点的同时尽可能简洁。 但模型往往会引入不必要的复杂性，Fable 5.1 尤其如此。

例如，看看 Fable 5.1 的研究提案和试点实验报告中的摘要部分。

这种普遍模式不仅出现在写作中，也出现在平面设计等其他任务中。 例如，Fable 5.1 倾向于使用更冗长的说明文字，这与我们以尽可能少的细节清晰传达信息的核心设计原则相悖。

其原因在 Fable 5.1 推动更详细说明文字时的多轮自我批评中得以揭示：

描述是单薄的转述：UBS 的“人人获得免费公共服务”省略了“覆盖所有基本需求，包括食物和住房”；UBC 的“人人获得能产生回报的资本”省略了“他们自己的”

来自 Fable 5.1 子代理的反馈

尽管创意空间很大，模型却趋同于相似的想法

在有许多可能方向的开放式任务中，我们可能期望模型产生多样化的想法。 然而，我们发现模型往往趋同于相似的想法。

例如，当我们让模型使用 Epoch 的民调数据创建数据洞察时，Fable 5.1、Gemini 3.8 Flash 和 Grok 4.6 都趋同于同一个主题：

这里的创意空间相对更有限，因为模型必须在民调数据集内工作，并避开已经发布过的主题。 但仍有足够多的候选主题，我们没想到六个模型中有三个会选中同一个。

我们在 Kimi K3 和 Qwen 3.8 Max 的研究设计任务中也观察到了这一点，它们可以从九个广泛方向中生成任何想法：

局限性

我们承认本基准测试存在以下局限性：

样本量小。我们的任务套件有限，且每个任务对每个模型只运行一次。 鉴于人工评分耗时，我们优先进行深入的定性分析，而非增加运行次数。 因此分数存在噪声，可能会随更多运行而变化。 这些结果不应被解读为 AI 在所有工作任务中能做什么或不能做什么的通用衡量标准。

主观评分。我们的许多评估标准涉及主观判断，因此数值分数不应被视为绝对真理。 具体数字可能因评分项定义不同或评分者不同而变化。 我们列出这些数字是为了大致了解模型之间的比较以及每个任务距离完全自动化有多近。 我们相信定性发现比这些确切数字更具参考价值。

特定于 Epoch 的任务。我们的任务范围仅限于 Epoch 的工作，因此不能代表所有工作任务。 我们还按照 Epoch 的标准来评估这些模型输出，这可能与其他工作任务的评估方式不一致。

不同的智能体框架。我们在每个模型各自的框架上测试它，例如 Codex 中的 GPT-6 Astra。 观察到的一些差异可能反映的是框架而非模型本身。 例如，Codex 中的 GPT-6 Astra 配合其内置浏览器扩展，可能比 Qwen Code 中搭配 Chrome DevTools MCP 的 Qwen 3.8 Max 更有助于提升表现。 我们选择这种设置是为了反映人们在实际工作中使用这些模型的方式，但我们承认这可能给某些模型带来相对其他模型的优势。

结论

前沿正在快速演进，但我们在工作中更开放式的部分仍看到差距。 表现最好的闭源模型在定义明确的任务上很可靠，例如编程、数据分析和计算机使用。 然而，它们在驱动真实工作的判断力上始终有所欠缺。 这包括从示例中学习可泛化的模式、设计好的研究实验，以及从结果中得出有意义的结论。

在研究 AI 完成取自 Epoch 的开放式任务的能力时，我们有两个目标。 第一，我们旨在提供比当前基准更全面的 AI 能力视图，因为当前基准通常聚焦于定义明确、易于评分的任务。 第二，我们想揭示 AI 距离端到端自动化工作还有多近。 我们发现它尚不能取代工作者，至少不能取代 Epoch 的工作者。 我们计划在新模型发布时添加结果，为随时间推移关于 AI 采用和自动化的问题提供参考。