跳到正文
arXiv cs.AI· Priyam Sahoo, Gaurav Mittal, Xiaomin Li, Shengjie Ma, Benjamin Steenhoek, Pingping Lin, Yu Hu·· 4 小时前AI 评分58

AgentLens 揭示 SWE-Agent 评测中的 Lucky Pass 问题

AgentLens: Revealing The Lucky Pass Problem in SWE-Agent Evaluation

AI 导读

论文指出仅看最终补丁是否通过测试的二元评测会把侥幸通过和严谨解法等同,在 60 个 SWE-bench Verified 任务、8 个模型后端的 2,614 条 OpenHands 轨迹中,1,815 条评测子集里有 10.7% 的通过轨迹属于 Lucky Pass。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:软件工程(SWE)智能体的评估主要依赖一个二元信号:最终补丁是否通过测试。这种仅看结果的方式将有原则的解决方案与混乱的试错过程视为等同。我们证明这种等同在经验上是错误的。我们在 60 个 SWE-bench Verified 任务上评估了来自八个模型后端的 2,614 条 OpenHands 轨迹。其中 47 个任务有足够多的通过轨迹,可用于构建任务级过程参考,从而得到一个包含 1,815 条轨迹的评估子集。在该子集的通过轨迹中,10.7% 表现出我们称之为 Lucky Pass 的行为:回归循环、盲目重试、缺失验证,或探索、实现与验证在时间上失序。我们提出 AgentLens,一个用于对 SWE 智能体轨迹进行过程级评估的框架,并发布 AgentLens-Bench,一个包含 1,815 条轨迹的数据集,标注了质量分数、浪费信号、分歧点以及 47 个任务级前缀树接受器(PTA)参考。AgentLens 通过合并同一任务的多个通过解决方案来构建 PTA 参考,并使用上下文敏感的意图标注器,根据轨迹历史而非仅凭工具身份将动作归为探索、实现、验证或编排。在 AgentLens-Bench 上,质量分数将通过轨迹划分为 Lucky、Solid 和 Ideal 三个层级,并进一步将 Lucky Pass 分解为五种反复出现的机制。在八个模型后端中,Lucky 率从 0.5% 到 23.2% 不等,部分模型在按质量分数而非通过率排名时,排名变动多达五个位次。我们在 此 https URL 公开发布 AgentLens-Bench 和 AgentLens SDK,项目主页见 此 https URL。
主题: 软件工程(cs.SE);人工智能(cs.AI)
引用为: arXiv:2605.12925 [cs.SE]
  (或本版本的 arXiv:2605.12925v5 [cs.SE])
  https://doi.org/10.48550/arXiv.2605.12925

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Priyam Sahoo [查看邮箱]
[v1] 2026 年 5 月 13 日星期三 03:00:57 UTC(545 KB)
[v2] 2026 年 5 月 27 日星期三 20:12:24 UTC(542 KB)
[v3] 2026 年 6 月 2 日星期二 15:49:40 UTC(542 KB)
[v4] 2026 年 10 月 5 日星期一 02:54:23 UTC(549 KB)
[v5] 2026 年 11 月 17 日星期二 07:41:17 UTC(3,492 KB)

来源:arXiv cs.AI · arxiv.org