研究者提出用缓存轨迹降低Agent评测成本

Ben Johnson 与 Hayden Helm 提出一种任务高效的智能体评测方法：用 LLM 提取执行轨迹的结构化摘要，再经标准文本编码器嵌入，构建参考系统的低维表示，以此预测新系统得分。 在 SWE-bench Verified 和 Terminal-Bench 2.0 上，仅给定单个随机执行任务时，该方法将 item-response 模型的平均绝对误差分别从 0.13 降至 0.08、从 0.14 降至 0.12。上述结果来自研究者自述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。