Wiz 讲解如何评估 AI 智能体的网络安全能力

Wiz：Research· Jay Tenenbaum·2026-11-11 00:03· 2 小时前精选AI 评分64

How to Evaluate AI Agent Cybersecurity Capabilities

AI 导读

Wiz Research 介绍其 Cyber Model Arena v3.9 的基准设计方法，该基准覆盖 26 个模型、59 个智能体和 327 道挑战，分代码漏洞、API 安全、Web 安全和云安全四类。

推荐理由

Wiz 研究人员分享了自建网络安全智能体基准的设计原则与踩坑经验，解释了为何用确定性代码评分替代 LLM 评委并隔离防作弊。

如何衡量不同智能体执行常规、真实网络安全任务的成功程度？ 

许多公司已经在自己的开发和部署生态中使用智能体，而攻击者有时会利用成群的攻击型智能体同时攻击数千家公司。为了帮助防御方为这个新时代做好准备，我们需要一个能比较这些智能体能力的评分。正因如此重要，学术界和业界的实验室都开始着手研究如何衡量，并制定正确衡量的标准，所以这个话题既及时又日益相关。

在本文中，我将分享 Wiz 在重新推出 Cyber Model Arena 时，为应对这一基准测试要务所遵循的关键原则。完整的方法论、我们的评分方式以及任务收集过程可供下载。截至本文撰写时，Wiz Cyber Model Arena v3.9 包含 26 个模型、4 个通用执行框架、59 个智能体、327 个挑战，每个挑战有三次尝试机会，每次限时 1,000 秒（这些数字还在不断增长）。

要创建基准测试，先确定基准目标。然后围绕它构建任务、环境和度量方式。我将在本文后面详细展开这一点，并解释指导整个流程的原则。

核心要点

• 选对任务。在写第一个任务之前，先确定为什么（目标）、是什么（数据、标准答案和智能体配置）以及怎么做（指标、评估函数）。尽可能从真实分布中构建数据，而不是用 AI 生成或 AI 标注的任务。

• 用代码评分，而不是用 LLM。直接、确定性地衡量成功，并采取防作弊措施：将智能体与服务器和互联网隔离，不给它任何查答案的途径。除非设计良好、经过校准且没有偏差，否则不要依赖 LLM 作为评判者。

• 让评估尽可能贴近真实。把执行框架和模型放在一起评估，给智能体不止一次尝试机会，并权衡成功与解题成本。

• 避开常见陷阱。LLM 评判、样本量小、任务不均衡、只评估模型以及答案泄露，都会让基准测试不可靠。而且要从小的开始：一个执行框架、一个快速且便宜的模型、几个任务和一个简单的评分器。等跑通了再扩大规模。

从问题陈述开始

大多数公开的网络安全智能体基准测试回答的，并不是防御方所问的那个问题。选择题测验衡量的是模型知识，而非生产环境表现；由另一个模型评判 LLM 输出，衡量的是两者之间的一致性，而非成功与否。我们要回答的是：智能体能否执行一次真实的攻击。

写下你的基准测试必须回答的那一个问题，并用它来检验之后的每一个决定。我们的问题是：

仅给定任务指令、一个通用智能体脚手架、1,000 秒的时间预算，且没有外部知识来源，智能体能否在真实目标上产生可验证的效果？

Wiz Research 的《2026 年云端 AI 现状报告》发现，至少 57% 的组织已经部署了自托管的 AI 智能体技术，而在观测到的云环境中，至少 80% 出现了 MCP 服务器。人们已经在采购这类系统，也已经在针对它们做防御。这就是为什么。本文余下的部分讲的是，如何构建一个服务于这个目的的数字。

设计你的基准测试

在创建第一个挑战之前，先定义三件事。

为什么。防御方或采购方应当能够依据这个数字采取行动。“更高的 pass@1”不是为什么。“这个智能体在交付状态下，仅凭指令能否攻破一个真实目标？”才是。

是什么。明确被评估的对象。在这里，它是由攻击者运行的智能体（模型 + 运行框架 + 工具 + 系统提示词），这也是我们采用贴近现实的限制条件的原因：1,000 秒、三次尝试、简单的系统提示词，并且可以访问客户端代码但不能访问服务端代码。

怎么做。基准测试为每个样例报告一个单一的底线指标很重要。要把众多相互竞争的指标归结为一个数字，就选一个优化指标，把其余一切都当作满足性约束。如果你有五个相互竞争的指标，又无法把它们归结起来，那么哪个智能体更好就会变成一场关于指标的争论。

让任务与工作实际相符

基准测试只能代表它所包含的任务。只采样困难任务，你衡量的就不再是工作中的成功率，而是困难任务上的成功率。而一个仅凭单一任务类别就声称衡量“攻击能力”的基准测试，是言过其实的。

因此，我们从现实中已经存在的来源构建了四个权重相等的类别。我们没有用 LLM 生成或标注任务。

智能体在不同类别之间的表现差异很大。对 59 个智能体取平均，pass@1 在 API 安全上为 78.0%，Web 上为 64.6%，云上为 56.5%，代码漏洞上为 38.2%。总排名第一的智能体在 Web 上得 74.7%，在代码上得 65.8%（而 Web 最高可达 90.8%）。另一个智能体在代码上只得 9.7%，在 API 上仍有 71.6%。

规模也很重要。近期许多网络安全基准测试的任务数不足 30 个。在 50% 的成功率下，30 个任务给出的 95% 置信区间约为 ±18 个百分点，因此一个比另一个高 15 分的智能体未必就更好。

评估效果，而不是用 LLM 打分

真实标注是评估的基础。用 LLM 作为评判者来打分一直是标准做法，但评判者并不直接衡量成功。它们有偏差（往往偏好第一个选项）、有随机性（每次运行结果不同）、昂贵且缓慢，而且要想在长期使用的基准测试中使用它们，必须先做校准和去偏。当你使用评判者时，你衡量的是某个 LLM 是否认为智能体成功了。这个差异是系统里内嵌的一笔债。

我们改用代码来评判。每道题都设计成会留下可核查的痕迹，或输出精确的结构化结果，智能体退出后由确定性的评分器检查。代码评分器成本低、可重复运行，也不是需要校准的模型。

通过隔离防止作弊

只要有机会，智能体就会走捷径：上网查答案、从磁盘上读现成解法，或者操纵评分器。如果分数是在能联网搜索、能查 CVE 数据库、文件夹里还写着题目名称的条件下拿到的，那衡量的就是别的东西了：究竟是完成了任务，还是攻破了任务。CTFusion 仅仅放宽了联网搜索权限，解题率就变化了多达 12 个百分点。

至于数据污染，我们无法证明智能体在预训练时没见过某道题，但可以证明它们在测试过程中取不到这道题。防作弊应该做在环境里，而不是写在提示词里。

从小处着手

构建基准测试是一项不简单、需要持续演进的工作，很容易在还没跑通端到端流程时就先写 300 道题。我们反过来采用精益创业的原则：先做出一个能手工检查的小规模端到端基线，再逐步迭代。

你需要十道能重复运行的题、一个能部署的运行框架，以及一个评分器能检查的评估指标。确认这套东西能跑通之后，再扩大规模。

我们的发现

运行框架要与模型配对

模型本身只是一个文本预测器。只有放进能执行命令、调用工具的运行框架里，它才成为攻击者，而不同模型在不同框架里的表现有好有坏。我们在 Claude Code 和 ADK React 上各跑了 22 个模型，平均绝对差距为 5.1 个 pass@1 百分点。Claude 系列模型更偏好 Claude Code，Gemini 3.8 Flash Cyber 则更偏好更精简的 ADK 循环。

结论是：要把整个系统作为一个整体来测试。要么让运行框架与模型配对（如我们所见，最好让框架与模型的开发方相匹配），要么固定一个通用框架，在其中比较不同模型。

攻击者不止一次机会

真正的攻击者不会失败一次就收手。我们给每个智能体每道题三次尝试机会，多出来的尝试不只是抬高了分数，对某些智能体来说，甚至改变了谁更胜一筹的排名。

准确率是有代价的

给智能体更多时间和预算，它通常能解出更多题。所以真正有用的图表是把成功率与解题成本放在一起看。任何不在帕累托前沿上的智能体，都严格劣于前沿上的智能体。例如，Claude Code 搭配 GPT-5.6 Sol 平均 pass@1 为 64.2%，每次解题花费 8.29 美元、耗时 27.2 分钟；而帕累托前沿上的 Codex + GPT-6 Luna 严格更优，平均 pass@1 为 64.5%，每次解题仅需 0.05 美元、6.3 分钟。

维护一份位于前沿上的智能体短名单，其余的一概忽略。这样你就能问：“在这个预算下，我如何最大化成功率？”或者“要达到这个成功率，我如何最小化成本？”

局限性

• 四个简单的运行框架。专门面向网络安全的框架很可能得分更高，但我们选择衡量一个简单的攻击者。

• 代码漏洞的字符串相等判定。语义上正确的根因，只要缺少预期符号就得 0 分。我们选择精度优先于召回率。

• 公开网页任务。websec.fr 是已知语料库。隔离机制能阻止智能体去查答案，但阻止不了它从训练数据里记住答案（可能造成基准污染）。

• 时间上限。1,000 秒足以覆盖我们观察到的大多数成功攻击。我们认为未来限制成本比限制时间更合适。

• 置信区间。我们尚未在网站上公布，正在处理中。

结论

我们的 Cyber Model Arena 展示了不同智能体在常见网络安全任务上的表现，覆盖四大类共 327 个隔离挑战。要构建智能体网络安全基准，先定好为什么、做什么和怎么做，再明确智能体、任务组合、评分器、隔离、预算和尝试次数。任何一项出错，基准就会变成垃圾进、垃圾出。

附录：全部 59 个智能体的结果

所有智能体，按 pass@1 排序。分数为百分比。

来源：Wiz Cyber Model Arena v3.9。

来源：Wiz：Research · wiz.io