AgentLens揭示SWE-Agent评测中10.7%通过属侥幸
热点事件持续更新
AgentLens揭示SWE-Agent评测中10.7%通过属侥幸
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Priyam Sahoo等作者发布论文,提出对SWE-Agent轨迹做过程级评估的框架AgentLens,并公开AgentLens-Bench数据集与AgentLens SDK。论文称,仅看最终补丁是否通过测试的二元评测会把侥幸通过和严谨解法等同。 作者在60个SWE-bench Verified任务、8个模型后端的2,614条OpenHands轨迹中,取1,815条作为评测子集,发现其中10.7%的通过轨迹属于Lucky Pass。AgentLens-Bench即为这1,815条轨迹,标注了质量分数、浪费信号、分歧点,以及47个任务级前缀树接受器(PTA)参考。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
AgentLens 揭示 SWE-Agent 评测中的 Lucky Pass 问题报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AIAgentLens 揭示 SWE-Agent 评测中的 Lucky Pass 问题
论文指出仅看最终补丁是否通过测试的二元评测会把侥幸通过和严谨解法等同,在 60 个 SWE-bench Verified 任务、8 个模型后端的 2,614 条 OpenHands 轨迹中,1,815 条评测子集里有 10.7% 的通过轨迹属于 Lucky Pass。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。