SWE-Prometheus 仓库治理基准发布

Jiajun Wu 等作者发布 SWE-Prometheus 基准，用于衡量智能体对真实代码仓库的工程治理改进能力。该基准包含 60 个仓库，要求智能体在固定快照下自主识别风险、排定干预优先级并验证改动。 在共享的 22 仓库公开子集上，十个模型的平均 NGI 介于 0.0568 至 0.5760，行为破坏率为 0% 至 23%。在冻结的十仓库批次上，仓库盲模板平均 NGI 为 0.272，但在可复现环境与依赖安全两个维度上无一模型取得改进。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。