CheckerBench：长程智能体能否合成静态分析检查器？

CheckerBench 是一个可执行基准，包含 300 个任务，源自 167 个仓库、85 种 CWE 和五个语言生态中的 297 个 CVE，用于评估智能体能否从零完成静态分析检查器的开发。该基准要求智能体解读缺陷规范、检查仓库、实现分析器逻辑，并通过反复编译与分析反馈迭代改进检查器。现有编码智能体基准多聚焦补丁生成或漏洞检测，很少考察这一端到端能力。