卡内基梅隆与微软发布 CRBugBench：最佳代码审查 Agent 检出 71.9% 已知 bug
卡内基梅隆与微软论文发布 CRBugBench：最佳代码审查 Agent 检出 71.9% 已知 bug
卡内基梅隆与微软论文提出 CRBugBench，包含 1,800 个代码审查任务，每个 PR 引入一个人工确认并修复的 bug。最佳模型 claude-opus-5 在前 5 条评论中检出 71.9% 的 bug，高于 5 个月前 opus-4.6 的 47.7%，但在某公司私有仓库上下降最多 25.5%。作者建议审查 Agent 与人类审查者配合使用，并为其提供仓库自有知识。
Rohan Paul· @rohanpaul_ai · X·2026-10-14 00:08· 55 分钟前AI 评分50
AI 导读
卡内基梅隆与微软论文提出 CRBugBench，包含 1,800 个代码审查任务，每个 PR 引入一个人工确认并修复的 bug。最佳模型 claude-opus-5 在前 5 条评论中检出 71.9% 的 bug，高于 5 个月前 opus-4.6 的 47.7%，但在某公司私有仓库上下降最多 25.5%。作者建议审查 Agent 与人类审查者配合使用，并为其提供仓库自有知识。
正文
卡内基梅隆大学与微软的新论文发现，最好的 AI 代码审查器在其前 5 条评论中捕获了 71.9% 的已知 bug，但仍不足以取消人工审查者。
Agent 现在写代码的速度快于人们审查它的速度，这让团队很想也让 AI 来审查。较早的审查基准用人类评论来给 AI 打分，而这些评论可能是吹毛求疵，也可能漏掉真正的 bug。
他们构建了 CRBugBench，包含 1,800 个代码审查任务，其中每个 pull request 都引入了一个经人工确认并修复的 bug。Agent 在沙箱中审查原始改动，AI 评判员检查其排名靠前的发现是否指出了该 bug。
最佳 Agent claude-opus-5 在其前 5 条评论中捕获了 71.9% 的 bug，高于 5 个月前 opus-4.6 的 47.7%。在某公司的私有仓库上，性能下降最多 25.5%，那里的 bug 更常需要项目上下文。
将审查 Agent 与人类审查者配合使用，并把你自己仓库的知识提供给它们，尤其是在大型或上下文繁重的改动上。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news