arXiv cs.MA· Kenan Li, Qirui Jin, Liao Zhu, Xiaosong Huang, Yijia Wu, Yikai Zhang, Xin Zhang, Zijian Jin, Yufan Huang, Elsie Nallipogu, Chaoyun Zhang, Yu Kang, Saravan Rajmohan, Qingwei Lin, Wenke Lee, Dongmei Zhang·· 2 天前AI 评分26
ORACLE-SWE：量化关键信息信号对 SWE 智能体的贡献
ORACLE-SWE: Quantifying the Contribution of Critical Information Signals on SWE Agents
AI 导读
研究提出 ORACLE-SWE，量化 Reproduction Test、Regression Test、Edit Location、Execution Context、API Usage 等 oracle 与智能体提取信号对仓库级 SWE 任务成功率的贡献，并测量智能体实际找到的信号与 oracle 信号之间的差距。
正文 · AI 翻译
作者：Kenan Li、Qirui Jin、Liao Zhu、Xiaosong Huang、Yijia Wu、Yikai Zhang、Xin Zhang、Zijian Jin、Yufan Huang、Elsie Nallipogu、Chaoyun Zhang、Yu Kang、Saravan Rajmohan、Qingwei Lin、Wenke Lee、Dongmei Zhang
摘要：语言模型（LM）智能体的最新进展日益聚焦于仓库级软件工程（SWE）任务，由此产生了多种智能体工作流、训练方法和失败分析。有趣的是，这些方法并非直接生成或评估编辑补丁，而是先检查并改进智能体探索过程中收集的中间信息信号，包括复现测试、回归测试、编辑位置、执行上下文和 API 使用。尽管不同研究考察了这些信号的不同子集，但尚无工作系统性地比较它们在提升最终任务成功率方面的相对有效性，或衡量每个信号剩余的改进空间。为填补这一空白，本工作量化了 oracle 信号与智能体提取信号对最终任务成功率的贡献，并衡量了当前智能体发现的信号与其 oracle 对应信号之间的差距。我们希望这些发现能为 SWE 智能体的未来研究重点提供建议。我们发布了源代码和 oracle 信号数据集，作为可复用的方法论，以利于未来 SWE 智能体的信号分析。
| 评论： | 同行评审中；31 页，9 幅图，11 张表 |
| 主题： | 多智能体系统（cs.MA）；计算与语言（cs.CL）；软件工程（cs.SE） |
| ACM 分类： | I.2.7；I.2.5 |
| 引用为： | arXiv:2604.07789 [cs.MA] |
| （或 arXiv:2604.07789v3 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.07789 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Kenan Li [查看邮箱]
[v1]
2026 年 4 月 9 日星期四 04:37:24 UTC（639 KB）
[v2]
2026 年 5 月 28 日星期四 09:34:24 UTC（620 KB）
[v3]
2026 年 10 月 15 日星期四 14:43:29 UTC（527 KB）
来源：arXiv cs.MA · arxiv.org