PROBE基准：编码Agent找bug召回率低于21%
热点事件持续更新
PROBE基准：编码Agent找bug召回率低于21%
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
研究者 Marco Paina 等人发布 PROBE 基准，收录 20 个 GitHub 仓库 18 个月内修复的全部 2,457 个 bug，用于评估编程智能体发现 bug 的能力。 在该基准上，前沿模型的召回率均低于 21%、精确率低于 9%。更强的模型可将召回率从 8% 提升到 17%，但精确率没有改善。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
PROBE 基准：前沿编程智能体发现的 bug 与维护者修复的不同报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIPROBE 基准：前沿编程智能体发现的 bug 与维护者修复的不同
研究者推出 PROBE 基准，收录 20 个 GitHub 仓库 18 个月内修复的全部 2,457 个 bug，用于评估编程智能体发现 bug 的能力。前沿模型在该基准上召回率均低于 21%、精确率低于 9%，更强模型可将召回率从 8% 提升到 17%，但精确率没有改善。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。