SWE-Shift 基准发布：编码智能体中途变更评测
热点事件持续更新
SWE-Shift 基准发布：编码智能体中途变更评测
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Victor Shea-Jay Huang 等作者发布 SWE-Shift 基准，用于评估编码智能体在执行中途遇到任务相关变更时的表现。该基准包含 12 类变更、120 个场景，每个场景在 9 个预定干预位置进行评测。 在 17 个编码智能体系统上，变更后的成功率均低于无变更时的成功率：GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率仅 20.34%。
AI 根据报道生成 · 57 分钟前更新
最新进展10月26日 12:00
SWE-Shift：评估编码智能体在执行中变化的工作空间中的表现报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv cs.AISWE-Shift：评估编码智能体在执行中变化的工作空间中的表现
SWE-Shift 是一个评估编码智能体在执行中途遭遇任务相关变更时表现的基准，包含 12 类变更、120 个场景，每场景在 9 个预定干预位置评测。17 个编码智能体系统的 Shifted 成功率均低于 Clean，GPT-6 Astra 从 67.35% 降至 24.79%，配对成功率仅 20.34%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。