arXiv cs.AI· Jiajun Wu, Leixin Sun, Zihan Tan, Yitao Liu, Zhenjun Zhao, Danyang Zhang, Shuo Li, Jiaru Qian, Yuxin Wu, Shanghaoran Quan, Chuangxin Zhao, Yangxu Liao, Yang Liu, Bin Chong, Guancheng Wan·· 11 小时前AI 评分31
SWE-Prometheus：衡量真实代码仓库工程治理改进的基准
SWE-Prometheus: Measuring Engineering Governance Improvements in Real-World Repositories
AI 导读
SWE-Prometheus 是一个面向仓库工程治理改进的基准，包含 60 个仓库，要求智能体在固定快照下自主识别风险、排定干预优先级并验证改动。在共享的 22 仓库公开子集上，十个模型的平均 NGI 从 0.0568 到 0.5760，行为破坏率为 0% 至 23%；冻结的十仓库批次上，仓库盲模板平均 NGI 为 0.272，但在可复现环境与依赖安全维度上无一改进。
正文 · AI 翻译
作者：Jiajun Wu、Leixin Sun、Zihan Tan、Yitao Liu、Zhenjun Zhao、Danyang Zhang、Shuo Li、Jiaru Qian、Yuxin Wu、Shanghaoran Quan、Chuangxin Zhao、Yangxu Liao、Yang Liu、Bin Chong、Guancheng Wan
摘要：基于大语言模型的编码智能体在仓库级软件工程任务上已取得实质性进展。然而，现有仓库基准通常从人工识别的问题出发，并评估补丁是否满足功能信号。我们提出 SWE-Prometheus，这是一个面向改进仓库工程治理这一更广泛任务的基准。每个任务提供固定快照和开放式目标，要求智能体识别风险、确定干预优先级并验证由此产生的变更。SWE-Prometheus 通过配对证据、干净环境探测、行为门禁以及同一证据的两项独立教师评分，评估六个治理维度。该基准包含 60 个仓库；十个模型在共享的 22 个仓库公开子集上接受评估，其平均归一化治理改进（NGI）范围为 0.0568 至 0.5760，观察到的行为破坏率范围为 0% 至 23%。在一个冻结的十个仓库批次上，仓库盲模板获得平均 NGI 0.272，但其增益集中在测试与 CI、质量门禁和文档方面；它在任何仓库上都未改进可复现环境和依赖与安全。该基线使“添加治理工件”与“产生有执行支撑的改进”之间的区别变得可测量。空操作条件的中位 NGI 为零，标准差为 0.073；对于同一空操作证据，两位教师在 60 个维度分数中有 57 个完全一致。对于两个条件均值最高的系统，共同有效 NGI 相近，而包含行为失败的全池比较则更有利于 Kimi-K3。这些结果说明了为什么仓库治理评估应同时报告改进、行为保持、证据质量和覆盖率。
| 学科： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.29465 [cs.AI] |
| （或使用 arXiv:2609.29465v3 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2609.29465 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiajun Wu [查看邮箱]
[v1]
2026年9月24日 星期四 12:23:52 UTC（4,283 KB）
[v2]
2026年10月3日 星期六 18:48:42 UTC（4,291 KB）
[v3]
2026年10月15日 星期四 08:27:31 UTC（3,354 KB）
来源：arXiv cs.AI · arxiv.org