arXiv cs.AI· Yihan Yang, Chenyuan Yang, Zijie Zhao, Anh Nguyen Hoang, Ziqi Zhang, Weidong Wang, Zhiheng Lyu, Lingming Zhang·· 12 小时前AI 评分58
SecPRBench：智能体代码审查能否在合并前发现漏洞
Can Agentic Code Review Catch Vulnerabilities Before They Are Merged?
AI 导读
论文提出 SecPRBench，用于评估智能体在真实代码变更上的安全审查能力，已从 Firefox、V8、OpenSSL 等九个关键系统收集 265 个任务。八款前沿模型的召回率在 32.5% 到 78.1% 之间，Grok 4.6 与 GPT-6 sol 居前；68% 的漏报是智能体定位到含缺陷文件但给出不同机制解释。
正文 · AI 翻译
摘要：LLM 智能体越来越多地被用于以安全为重点的代码审查，但现有基准大多从后续修复中推导出被审查的变更，而非来自真实世界中引入缺陷的提交。本文提出 SecPRBench，这是首个用于在经校验的真实世界代码变更上评估智能体安全审查的综合基准。具体而言，我们构建了一条自动化智能体流水线，以自主采集、构建并校验来自流行软件系统的大量真实世界引入缺陷的提交。为确保精确评估，我们还采用 LLM-as-a-judge 对与真实漏洞匹配的发现给予认可。截至目前，我们已从九个关键系统收集了 265 个任务，包括 Firefox、V8 和 OpenSSL，涉及数百万行代码。在八个前沿模型中，召回率范围为 32.5% 至 78.1%，其中 Grok 4.6 和 GPT-6 sol 排名居前。我们的研究还表明，大多数漏报并非单纯的疏忽：其中 68% 的情况下，智能体报告了存在缺陷的文件，但论证的是不同的机制。以安全为重点的测试框架也表现不同：OpenAI 的 Codex Security 使召回率降低 8.3 个百分点，主要原因是弃权，而 Anthropic 的 Defending Code 框架使其提高 7.7 个百分点，但成本更高。
| 评论： | 20 页，2 幅图，10 张表。基准：此 https URL 结果网站：此 https URL |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR）；编程语言（cs.PL） |
| 引用为： | arXiv:2610.33509 [cs.SE] |
| （或 arXiv:2610.33509v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33509 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yihan Yang [查看邮箱]
[v1]
2026 年 10 月 24 日星期六 07:32:42 UTC（236 KB）
来源：arXiv cs.AI · arxiv.org