arXiv cs.AI· Gonzalo Gonzalez-Pumariega, Ajay Jagannath, Adit Jain, Guram Gogia, Soumyadeep Bakshi, Nazneen Rajani·· 3 天前AI 评分34
CWE-bench：将 AI 智能体安全评测从攻击转向防御
CWE-bench: Refocusing Agentic Security from Exploitation to Defense
AI 导读
研究者推出 CWE-bench，一个包含 120 个仓库审计与修复任务的私有基准，覆盖 73 种 CWE 类型、8 种编程语言和 OWASP Top 10 2025 全部类别。智能体仅获知仓库与威胁模型描述，需自行定位并修复漏洞，补丁须在通过程序化验证器拦截攻击的同时保持原有功能。最佳智能体达到 68% pass@1 和 81% pass@4，且不同语言与漏洞类别的难度差异显著。
正文 · AI 翻译
摘要：针对 AI 智能体的网络安全评估主要聚焦于攻击，然而一个可用的漏洞利用并不能表明智能体能够使软件变得安全。攻击者只需利用一个漏洞；而防御者必须找出并修复所有漏洞。我们推出 CWE-bench，这是一个私有基准，包含 120 个留出的仓库审计与修复任务，涵盖 73 种 CWE 类型、八种语言以及所有 OWASP Top 10 2025 类别。智能体会获得一个待审计的仓库及其威胁模型描述，但不会被告知弱点是什么、位于何处，或存在多少个易受攻击的位置。每个补丁都必须阻止漏洞利用，同时保持原有功能，并由程序化验证器进行检查。我们通过一组智能体评审员对验证器进行了验证，在开发过程中人工审查分歧并改进检查。最佳智能体达到 68% 的 pass@1 和 81% 的 pass@4。我们进一步进行分析，表明：(i) 具有相同 pass@1 的智能体在重试收益和成本上差异很大；(ii) 没有任何单一智能体在所有语言或漏洞类别中都是最佳的，且难度因漏洞类别而产生的差异远大于因语言而产生的差异。随着智能体攻击能力的提升，CWE-bench 提供了一种广泛而严格的衡量标准，用以判断其防御能力是否同步跟上。
| 评论： | 12 页，6 幅图，5 张表 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.17020 [cs.CR] |
| （或 arXiv:2610.17020v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17020 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Gonzalo Gonzalez-Pumariega [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 16:00:55 UTC（150 KB）
来源：arXiv cs.AI · arxiv.org