arXiv cs.AI· Ben Johnson, Hayden Helm·· 11 小时前AI 评分22
利用缓存轨迹实现任务高效的智能体评测
Task-Efficient Agent Evaluation Using Cached Traces
AI 导读
研究者提出用 LLM 提取执行轨迹的结构化摘要并经标准文本编码器嵌入，以构建参考系统的低维表示并预测新系统得分。在 SWE-bench Verified 和 Terminal-Bench 2.0 上，仅给定单个随机执行任务时，该方法将 item-response 模型的平均绝对误差分别从 0.13 降至 0.08、从 0.14 降至 0.12。
正文 · AI 翻译
摘要：高效基准测试通过少量任务执行来估计系统的完整基准性能。标准方法仅依赖于来自一组已评估参考系统的执行结果的二元正确性。然而，智能体系统在每次执行中会产生丰富的轨迹，能够揭示更多关于其能力的信息。利用这些信息需要有用的轨迹表示。我们提出通过使用 LLM 提取轨迹的结构化摘要，并用标准文本编码器嵌入该摘要来表示轨迹。这些表示保留了正确性和任务相关的信号，同时最大限度地减少了主导原始轨迹嵌入的系统身份、模型家族和测试框架相关信号。给定来自所有参考系统的每个任务执行的这种表示，我们构建系统的低维表示，并根据新系统在参考系统中的位置预测其得分。在 SWE-bench Verified 和 Terminal-Bench 2.0 上，当提供一个随机执行的任务时，用这种基于几何的预测增强项目反应模型可将平均绝对误差分别从 0.13 降至 0.08（Wilcoxon $p < 10^{-4}$）和从 0.14 降至 0.12（Wilcoxon $p < 10^{-3}$）。此外，在可访问完整参考系统集合的情况下，我们的方法在两个基准上对于任意给定数量的执行任务均优于基线。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06803 [cs.AI] |
| （或 arXiv:2611.06803v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.06803 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ben Johnson [查看电子邮件]
[v1]
2026年11月4日星期三 17:20:09 UTC（135 KB）
来源：arXiv cs.AI · arxiv.org