ATLAS：评估智能体在搜索密集型任务上的表现

今天我们预览 ATLAS，这是一个新的基准测试，旨在评估智能体在大量使用网络搜索的挑战性真实工作流中响应的准确性和完整性。ATLAS 将基于真实搜索需求的查询与经过验证的黄金答案配对，并使用自动化流水线，使我们能够随着网络和模型的发展刷新两者。

以下是我们迄今为止运行 ATLAS 得出的一些结论：

• 以合理成本进行全面搜索远未解决。最大努力搜索智能体始终优于计算量较低的同类，但没有任何每次任务成本低于 1 美元的智能体运行达到行 F1 超过 0.5。
• 即使是最昂贵的搜索智能体也会遗漏约 1/3 的黄金结果，这表明在完整性至关重要的用例中，网络搜索仍有很大的性能提升空间。
• 在保持模型测试框架固定的情况下，Exa 定义了成本-性能帕累托前沿，不同搜索后端之间的得分差异达 16%。

#一个好的基准测试应该是什么样？

当语言模型刚开始使用网络搜索时，它们常常在管理长上下文或跨多个文档推理时卡住。甚至搜索结果的顺序也可能让它们出错。简而言之，智能体搜索曾受限于智能。如今，前沿模型能更可靠地处理这些任务，且成本仅为过去的一小部分，因此完成深度和广度研究任务的瓶颈在于你的搜索后端能否真正在世界上找到相关信息。

近期智能体搜索配置之间的对比1^,2^,3^,4反映了对严格评估网络搜索效力的日益迫切需求。这些评估试图阐明测试框架、模型和搜索提供商的哪些组合在具有挑战性和经济价值的研究任务上表现最佳。

为了支持严格的比较，我们认为智能体搜索基准测试应该：

1. 要求搜索。答案必须依赖于从模型已经记住的内容之外的来源检索信息。
2. 奖励搜索质量和投入。高质量的搜索结果和额外的搜索量应能显著提高分数。
3. 代表真实世界的搜索任务。任务必须反映人类和智能体实际搜索的内容。

表 1：记忆度计算为至少被 GPT-6 Astra、GPT-5.6 Sol 或 Claude Opus 5 之一回忆起的任务百分比。WANDR 无法直接测量记忆度，因为它没有固定的答案键，无法在不搜索的情况下对模型响应评分。评分成本指使用官方评分器对 10 次完整运行进行评分的成本。

这些要求听起来可能显而易见，但如今流行的智能体搜索基准测试每一项都未能满足其中一项或多项。BrowseComp5、WideSearch6 和 DeepSearchQA7 在很大程度上已被记忆，接近饱和。它们的许多问题都是人为设计的，写出来是为了难以找到，而不是反映人们实际搜索的内容。较新的基准测试，如 Perplexity 的 WANDR4^,12，通过使用 LLM 评判器评分来保持新鲜度，这使得运行评分成本高昂，并且对评判器设计高度敏感（例如，评判器的网页抓取工具使用哪个提供商）。

随着搜索提供商针对这些基准测试进行优化，以及它们所需的知识被添加到最新的前沿模型中，这些基准测试往往会随时间推移而失去价值。这些问题都源于一个根本性挑战：构建新的、高质量的搜索评估既缓慢又昂贵。因此，智能体搜索基准测试往往在还没来得及被新鲜、最新的基准测试取代之前就已经过时了。

#设计 ATLAS

我们用一个新基准测试 ATLAS（Agentic Tasks for Large Aggregation + Search）来解决这些不足，它包含 547 个深度和广度的研究任务。任务由从匿名搜索需求聚类中提取的种子主题生成。每个任务要求系统发现满足精确条件的每个实体（例如一个人、地点或公司），然后用 2–10 个多跳属性来丰富每个实体。

图 2：ATLAS 任务如何从种子主题成长为黄金答案表。

遵循合成生成基准数据日益增长的趋势8^,9^,10，我们在结构化流水线中投入大量推理时计算来生成任务和黄金答案。我们的流水线包括一个由前沿模型和搜索提供商组成的委员会，每个任务中位数花费 8 个智能体小时和 1,200 次搜索来寻找答案、根据来源独立验证答案，并解决分歧或歧义，直到对其正确性有信心。由于流水线是自动化的，我们可以使用基于近期搜索趋势的主题重新生成 ATLAS 数据集，使基准测试随着网络更新而与智能体实际搜索的内容保持一致。

鉴于评估生成时部署了大量推理时计算，我们为这个基准测试提出的挑战是高效搜索：在不到一分钟且花费不到 1 美元的情况下解决每个任务，而在这样的预算下，当前没有任何系统能达到 0.5 行 F1。

#结果

基于一系列消融实验和实验，我们相信 ATLAS 纠正了当前流行的智能体搜索评估中存在的诸多缺陷，提供了一个真正衡量搜索、并根据搜索质量和投入区分各种系统的基准测试。

ATLAS 强烈区分搜索提供商：^††每个指标都是 F1：精确率（返回单元中正确的比例）和召回率（返回的黄金单元比例）的调和平均数。它们仅在计数的单元上有所不同： 发现 F1：实体。
行 F1（头条指标）：整行，仅当每个单元格都正确时才正确。
项 F1：单个单元格，涵盖发现和丰富。

模型

图 3：在固定测试框架下，仅搜索 API 本身就对性能有显著影响。每个搜索 API 都在相同的中立 Scout 框架中运行，模型为 GPT-6 Luna 或 Claude Haiku 5.5。

#ATLAS 奖励搜索质量

ATLAS 对搜索质量的依赖远超现有基准测试：当我们通过隐藏每 10 条搜索结果中的前 7 条来严重降低搜索质量时，同一个搜索器会损失大约一半的 ATLAS 分数。相比之下，在 BrowseComp、WideSearch 和 DeepSearchQA 上，搜索器保留了原始分数的 81–89%，这表明这些基准测试实际上并未衡量搜索质量。

图 4：搜索质量下降对 ATLAS 的伤害远大于其他基准测试。我们人为降低搜索质量：在每次 Exa 搜索中，10 条结果中的前 k 条被屏蔽，返回第 k+1 到第 10 条结果。结果展示的是 GPT-5.6 Luna 在中立 Scout 框架中使用 Exa 搜索的情况。

#ATLAS 未被记忆

我们通过检查 GPT-6 Astra、GPT-5.6 Sol 或 Claude Opus 5 中至少一个模型能回忆起完整答案集的任务百分比，来衡量评估的记忆程度。BrowseComp、WideSearch 和 DeepSearchQA 中近 50% 或更多的内容被记忆（表 1）。

相比之下，ATLAS 的较旧行比 WideSearch 的记忆程度更低，并且它包含当前前沿模型知识截止日期之后的新信息，在这些信息上，前沿模型在没有搜索的情况下几乎从不正确回答。因此，与当前流行的评估相比，为前沿模型添加搜索相比无搜索基线带来的性能提升要大得多（图 5）。

#ATLAS 需要广度和深度搜索

ATLAS 中 74% 的任务要求 10 个或更多实体，每个实体需要 2–10 个属性。此外，这些广而深的表格实际上需要多跳搜索，而不是从单个 URL 或域检索。根据我们的数据集构建日志估计，发现实体每个任务中位数需要 4 个不同的域，而完整发现加丰富化每个任务中位数需要 18 个不同的域。相比之下，许多流行的现有评估名义上要求广度或深度，但由于记忆、污染或有缺陷的基准设计，实际上只需极少的检索步骤即可解决。例如，在我们的实验中，我们发现一个强大的智能体在 WideSearch 上为其 48% 的任务只引用一个网站，而在 ATLAS 上这一比例为 0.2%。

ATLAS 的广度和深度都使其变得困难。我们发现，同时增加广度和深度会使所有测试的搜索器任务难度增加。

#构建与验证

来自不同模型家族的两个智能体负责构建：Codex 搭配 GPT-6 Astra，以及 Claude Code 搭配 Opus 5.5。单智能体步骤（筛选、验证和修复）使用 GPT-6 Astra。为确保金标准不偏向任何单一搜索索引，每个智能体都通过我们构建的提供商中立工具进行搜索。该工具对每次查询调用 Exa、Brave 和 Perplexity 搜索 API，并返回一个隐藏提供商名称的交错列表。我们发现，金标准表构建智能体引用来自不同提供商的页面的比例几乎相同。

#1. 主题播种

每个任务都从 Exa 聚合的匿名搜索需求中的一个主题开始。从真实需求播种使 ATLAS 覆盖 300 多个主题，并提高所提议任务未被记忆的可能性。一个智能体通过少量搜索从该主题提出一个任务。在构建开始前，一个低成本的筛选智能体探测该任务，并拒绝那些明显没有在线信息可用或已被记忆的任务。

#2. 实体发现

找到一个可穷尽枚举但未被记忆的集合被证明颇具挑战，因此我们首先在独立的生成阶段构建该集合。两个构建智能体独立进行多轮搜索，以构建实体的金标准列表。随后一个验证智能体逐点检查每一行，包括其引用的页面，并在另一个索引（OpenAI 的）上进行额外搜索。任何未确定的行都会进入针对性修复，由修复智能体进行额外搜索或澄清任务以消除歧义。

#3. 行丰富

在发现实体列表建立后，一个智能体提出丰富列。两个构建智能体独立填充每个单元格，为每个值保存页面引用和逐字引文。随后验证、修复和最终检查器（GPT-5.6 Sol）解决任何分歧。无法解决的单元格在最终评估中不计分，占所有表格单元格的 7.1%。此外，3.8% 的单元格是空白，即我们的智能体可以证明所涉值不存在数据，例如所问事件没有发生，或确凿没有公开记录。这些空白会被评分，测试搜索智能体推断特定信息不存在或不适用于给定实体的能力。

#4. 压力测试

十二个系统尝试每个任务：Exa Agent11 在四个努力级别；Claude Opus 5.5 和 GPT-6 Astra 各在两个努力级别，使用其提供商的原生搜索；以及 GPT-5.6 Luna 搭配 Exa、Perplexity、Brave 和 Parallel 搜索。

#5. 审计

盲审评委使用答案键研究每一个分歧。基于使用实时浏览器的抽样审计，我们估计不到 1% 的金标准值不正确（0.9%，95% CI 0.6–1.4%）。审计评委是 Codex（Astra）和 Claude Code（Opus 5.5），由 Gemini 3.1 Pro 打破平局，全部使用其原生搜索。如果此步骤后仍有分歧，Exa 工程师会手动裁决差异。

#6. 答案键

通过审计的行将成为黄金答案键的一部分。允许存在未评分和空白单元格。

#评分

我们使用三个 F1 指标将返回的表格与黄金答案进行评分，按任务计算并在任务间取平均。每个 F1 都是精确率和召回率的调和平均数，但三者统计的对象不同，类似于 WideSearch6 中使用的指标：

• 发现 F1 仅统计行发现：精确率 = 返回行中命名了黄金实体的百分比，召回率 = 所有黄金实体中被返回的百分比。
• 条目 F1 统计单元格，包括发现和丰富：精确率 = 返回单元格中正确的百分比，召回率 = 所有黄金单元格中被正确返回的百分比。
• 行 F1 统计行，仅当一行中每个单元格都正确时该行才正确：精确率 = 返回行中完全正确的百分比，召回率 = 黄金行中被完全正确返回的百分比。这是我们的核心指标。

评分器通过实体名称和一组别名将返回行与答案键对齐，未命中时回退到 LLM 对齐器（GPT-6 Luna）。随后尽可能确定性地对每个单元格评分，剩余 4.5% 的单元格由 LLM 评判器（GPT-6 Luna）裁定。空白单元格仅在留空时得分，未评分单元格则被排除。评分既廉价又一致：对全部 547 个任务上的一个系统评分花费约 $0.24，对同样的 7,658 个答案（14 次智能体运行各 547 个任务）重新评分，其中约 7,550 个（98.6%）得到相同的行 F1，且没有任何系统的平均行 F1 变动超过 0.001。

表 2：评分可扩展性概览。由于我们评分方法简便且可扩展，ATLAS 是开发高性价比但强大的智能体搜索者的更有效基准。

#推动未来创新

我们相信，ATLAS 比现有基准更忠实地反映了哪些智能体搜索配置在困难且具有经济价值的研究中真正有效。正如 ATLAS 的初步运行所反映的，高效的智能体搜索仍远未解决：我们测试的最佳系统仅在每任务 $8.92 和 18 分钟的预算下达到 0.66 行 F1，而低于 $1 的系统没有一个能让一半的行正确。

Exa 将继续推动高效搜索的前沿，以低延迟和低成本解决广度和深度研究。我们将 ATLAS 视为迈向新一代持续刷新搜索评估的第一步，并希望它有助于衡量人们在真正依赖智能体网络搜索的工作流程上的进展。我们将在未来几周内发布任务、黄金表格和评分器以及完整技术细节，并计划每 3–6 个月根据新需求重新生成 ATLAS。

#引用

@online{exa2026atlas,
  author = {Alexander Goldberg and Joshua Ahn and Scott Langille},
  title = {{ATLAS: Evaluating Agents on Search-Intensive Tasks}},
  date = {2026-10-08},
  url = {https://exa.ai/blog/atlas-benchmark}
}