Snyk VulnBench 2.0 如何划分确定性 SAST 与 AI 安全智能体的分工

查看 PDF HTML（实验性）

摘要：我们探究 AI 编码代理和 AI 安全测试框架能发现哪些确定性静态应用安全测试（SAST）发现不了的漏洞，以及它们会漏掉哪些 SAST 能捕获的漏洞。VulnBench 2.0 是一个基准，包含 20 个用 Go、JavaScript/TypeScript、Python 和 Java 编写的开源 Web 应用中的 108 个手工整理、攻击者可触达的漏洞；其中 62 个跨多个文件。只有当发现同时定位到漏洞的攻击者可控源和危险汇点，且各自误差在两行以内时，才计为有效发现。我们在同一盲测协议下评估了九种产品化配置：Snyk Code 静态分析器、Claude Code 的 /security-review（三种模型和努力程度设置，其中一种使用 Snyk MCP 服务器）、Codex Security 搭配 GPT-5.6 Luna、Terra 和 Sol，以及 DeepSec 扫描器搭配两种模型后端。Snyk Code 达到 82.4% 的宏召回率（108 个中的 89 个），Claude Code 搭配 Opus 5 在 xhigh 努力程度下达到 79.3%（108 个中的 85 个）；两者在 28 个漏洞上意见不一致，分歧为 16 比 12，数量太少，无法区分二者。单独任何一个引擎都不够：两者合起来达到 108 个中的 101 个，即所有七个可比配置合计的上限，而且 AI 配置还报告了至少七个参考集中不存在、Snyk Code 也未报告的真实漏洞。AI 引擎漏掉什么，既取决于其模型，也取决于其测试框架：在没有 Claude Code 内置审查策略的情况下，同一模型在该策略排除或限制的类别中匹配了 20 个漏洞中的 16 个，而非 9 个（在 20 个应用中的 19 个上进行的补充运行）；Codex Security 搭配 GPT-5.6 Sol 在文件级别定位了 80 个漏洞，但在行级别只有 34 个；DeepSec 的无模型文件选择在 108 个流中仅保留了来自 56 个流的文件。覆盖率和成本之间只有松散关联。测试框架、测试夹具、参考集和所有运行数据均已公开。

评论：	44 页，21 幅图，7 张表。基准测试框架、参考集和所有运行数据：此 https URL；配套网站：此 https URL
主题：	密码学与安全（cs.CR）；人工智能（cs.AI）；软件工程（cs.SE）
引用为：	arXiv:2610.38617 [cs.CR]
	（或 arXiv:2610.38617v1 [cs.CR] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.38617 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Liran Tal [查看电子邮件]
[v1] 2026 年 10 月 28 日星期三 10:38:43 UTC（532 KB）