跳到正文
热点事件持续更新

研究者发布SWE-Skills-Bench评估Agent技能效用

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Tingxu Han等作者提出并发布SWE-Skills-Bench,一个以技能为中心、需求驱动的基准,用于衡量单个Agent技能在真实软件工程任务上能带来多大提升。 该基准从98个公开SWE技能出发,为每个技能配对一个固定commit的真实GitHub仓库,在四种Agent模型配置下分别做无技能与有技能的配对评测,共3920次。 据作者介绍,这一设计旨在检验Agent技能在真实软件工程任务中的实际效用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    SWE-Skills-Bench:Agent 技能在真实软件工程中真的有用吗

    研究者提出 swe-skills-bench,一个以技能为中心、需求驱动的基准,用于衡量单个 Agent 技能在真实软件工程任务上的提升幅度。该基准从 98 个公开 SWE 技能出发,每个技能配对一个固定 commit 的真实 GitHub 仓库,在四种 Agent 模型配置下分别做无技能与有技能的配对评测,共 3920 次。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。