arXiv cs.AI· Tingxu Han, Yi Zhang, Wei Song, Chunrong Fang, Zhenyu Chen, Youcheng Sun, Lijie Hu·· 12 小时前AI 评分58
SWE-Skills-Bench：Agent 技能在真实软件工程中真的有用吗
SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?
AI 导读
研究者提出 swe-skills-bench，一个以技能为中心、需求驱动的基准，用于衡量单个 Agent 技能在真实软件工程任务上的提升幅度。该基准从 98 个公开 SWE 技能出发，每个技能配对一个固定 commit 的真实 GitHub 仓库，在四种 Agent 模型配置下分别做无技能与有技能的配对评测，共 3920 次。
正文 · AI 翻译
摘要：Agent skills 是在推理时注入的结构化程序性知识包，越来越多地被用于增强 LLM 智能体在软件工程任务上的表现。然而，它们在端到端开发环境中的实际效用仍不明确，且目前没有标准流程在安装前测试单个 skill。我们提出 swe-skills-bench，一个以 skill 为中心、需求驱动的基准，用于衡量单个 agent skill 在真实软件工程（SWE）任务上能带来多大性能提升。我们从 98 个公开 SWE skills 出发，每个 skill 配对一个固定在特定提交上的真实 GitHub 仓库。对每个 skill，我们推导出仓库特定的需求，创建可执行验证器，并构建可复现环境。在四种 agent-模型配置下，我们对每个任务分别在不使用 skill 和使用 skill 的情况下各运行一次，共得到 3,920 次配对评估。对每项需求，我们计算配对差值，即添加 skill 后结果的变化。然后我们将一个 skill 的十项需求的差值汇总为每个 skill 的效用画像，并使用统计检验将每个 skill 分类为 Golden（显著有帮助）、Ineffective（无显著影响）或 Harmful（显著有害）。我们的结果表明，skills 带来的收益有限：98 个 skills 中有 92 个没有统计显著影响，添加 skills 仅将平均通过率从 76.6% 提升到 76.9%。少数有帮助的 skills 提供了智能体原本会遗漏的流程（最高提升 $+17.7$ 分）。相反，有害的 skills 会让智能体锚定在其自身模板上，并覆盖任务的明确指令（最高下降 -17.0 分）。我们的代码可在 this https URL 获取。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.15401 [cs.SE] |
| （或 arXiv:2603.15401v2 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.15401 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Tingxu Han [查看邮箱]
[v1]
2026年3月16日星期一 15:16:31 UTC（1,343 KB）
[v2]
2026年10月27日星期二 09:54:21 UTC（1,279 KB）
来源：arXiv cs.AI · arxiv.org