跳到正文
热点事件持续更新

研究团队提出基准持续验证工作流

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

E. Kelly Buchanan 等作者提出一套面向智能体基准的持续验证工作流,并据此发布 Terminal-Bench 2.1 修复版。该流程结合社区报告、任务产物、智能体轨迹、自动 oracle 检查和人工把关修复。 作者在论文中提出“基准维护债”概念,称编码智能体基准即使发布时经过严格验证,也会随模型进步而过时,因此需要持续校验而非一次性发布。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.AI
    论文提出基准即软件:以 Terminal-Bench 为例论证持续评测

    论文提出“基准维护债”概念,指出编码智能体基准即使发布时经过严格验证也会随模型进步而过时,并给出一套结合社区报告、任务产物、智能体轨迹、自动 oracle 检查和人工把关修复的持续校验流程。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。