arXiv cs.AI· Hang He, Li Wang, Hao Chen, Yuchen Shao, Yuling Shi, Lisheng Wang, Peiyang Liu, Goose Lin, Zaiyuan Wang, Haiying Sun, Ting Su, Chengcheng Wan·· 10 天前AI 评分28
CheckerBench：长时程智能体能否合成静态分析检查器？
CheckerBench: Can Long-Horizon Agents Synthesize Static-Analysis Checkers?
AI 导读
研究者推出 CheckerBench，一个由 297 个 CVE 衍生出 300 个任务的可执行基准，覆盖 167 个代码仓库、85 个 CWE 和五种语言生态，用于评估智能体能否从零完成静态分析检查器的开发。
正文 · AI 翻译
作者：Hang He、Li Wang、Hao Chen、Yuchen Shao、Yuling Shi、Lisheng Wang、Peiyang Liu、Goose Lin、Zaiyuan Wang、Haiying Sun、Ting Su、Chengcheng Wan
摘要：静态分析检查器合成要求智能体解读缺陷规范、检查代码仓库、实现分析器特定的逻辑，并通过反复的编译和分析反馈来完善检查器。现有的编码智能体基准测试主要关注补丁生成或漏洞检测等任务，很少评估智能体能否在代码仓库中从头到尾开发出一个可用的检查器。我们提出了 CheckerBench，这是一个可执行的基准测试，包含 300 个任务，源自 167 个代码仓库、85 个 CWE 和五个语言生态系统中的 297 个 CVE。每个任务都包含易受攻击和已修复的修订版本、固定的分析环境以及检查器脚手架。我们进一步提出了 CheckerLab，这是一个通用评估框架，可独立重建提交的检查器，并衡量易受攻击与已修复的诊断对比、补丁定位、误报和工具使用情况。在 21 种模型-框架配置以及每种配置三次独立重复中，平均 Pass@1 为 32.30%，最佳达到 45.33%。这些结果表明，可靠、可复用的检查器开发对当前的编码智能体而言仍然具有挑战性。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.07557 [cs.SE] |
| （或 arXiv:2610.07557v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07557 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hang He [查看电子邮件]
[v1]
2026年10月6日星期二 00:42:45 UTC（5,453 KB）
来源：arXiv cs.AI · arxiv.org