arXiv cs.AI· Yu Cheng, Dehai Zhao, Zhongxin Liu, Qing Huang, Zhenchang Xing, Xiaoxue Ren·· 9 天前AI 评分27
Agent Skills 下游效用实证研究：同一技能可助益也可拖累任务表现
An Empirical Study of Agent Skills' Downstream Utility
AI 导读
一项针对 87 个 SkillsBench 任务的实证研究显示，同一 Agent Skills 在 36.78% 的任务上对部分配置有帮助、对另一些配置反而有害，推荐流程可能变成执行负担。
正文 · AI 翻译
摘要：Agent Skills 将过程性指导与资源打包以供复用，但相关的 Skill 并不一定能提升任务表现。现有研究刻画了 Skill 内容并评估下游性能，却对效用如何取决于内容、执行配置和多 Skill 组织缺乏充分解释。我们对 87 个 SkillsBench 任务开展实证研究，将下游效用定义为在相同模型—执行框架配置下，同一任务相对 No-Skill 的通过率差异。我们在九种配置下比较相同的 Skill，随后在三种选定配置下考察其他已发布的 Skill 以及固定 Skill 集合的组织方式。我们从包含 37,596 个 Skill 的精选语料库中检索市场候选。借助 LLM 辅助分析内容、执行轨迹和最终产物，并经作者复核，将所提供的支持与实际使用及任务结果关联起来。在 36.78\% 的任务上，相同的 Skill 对某些配置有帮助，却对其他配置有害，轨迹显示推荐的过程可能成为执行负担。相关性排序会忽略更有用的候选。在评估的候选集合内，按对所需操作的支持程度重新排序，使三种配置下的首选通过率提升 4.35--5.80 个百分点。我们归纳出 17 条编写实践，将可执行过程与恢复、任务要求的保持以及对最终产物的检查联系起来。Stage Plan 和 Dependency DAG 优于仅使用顺序，其中 DAG 的额外收益集中在提供五到六个 Skill 的任务上。这些发现指导开发者评估可用的操作支持，在保持任务要求的同时允许过程调整，并在组织 Skill 时明确产物依赖关系。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.08875 [cs.AI] |
| （或 arXiv:2610.08875v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08875 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yu Cheng [查看电子邮件]
[v1]
2026年10月6日星期二 06:05:00 UTC（16,921 KB）
[v2]
2026年10月8日星期四 04:06:52 UTC（16,921 KB）
来源：arXiv cs.AI · arxiv.org