arXiv cs.AI· Yuxuan Liu, Haoran Li, Yuhao Zhang, Jiahe Guo, Hongyu Luo, Wenbin Hu, Huihao Jing, Kawai Chung, Junle Chen, Changxuan Fan, Qing Zong, Lingyun Xie, Yangqiu Song·· 3 天前AI 评分32
SkillScriptBench：面向可执行 Agent 技能包自演化的基准测试
SkillScriptBench: Benchmarking Self-Evolution of Executable Agent Skill Packages Beyond Markdown
AI 导读
研究者提出 SkillScriptBench，一个 350 任务的基准，用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务，另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。
正文 · AI 翻译
作者：Yuxuan Liu、Haoran Li、Yuhao Zhang、Jiahe Guo、Hongyu Luo、Wenbin Hu、Huihao Jing、Kawai Chung、Junle Chen、Changxuan Fan、Qing Zong、Lingyun Xie、Yangqiu Song
摘要：可执行 Agent Skills 将自然语言指令和脚本组合成可供 LLM 智能体使用的可复用包，而修订它们需要在修复错误的同时不破坏正确行为。现有基准在评估技能自我进化时，并未系统地区分文档修复、脚本修复和保持。我们提出 SkillScriptBench，一个包含 350 个任务的基准，旨在分别评估这些能力。通过对 35,000 多个 GitHub 托管的 Skill 根目录进行调查，我们选取了 100 个包并构建了 150 个修复任务。每个任务将一个包含注入脚本故障的包与一个维护请求以及所需行为的可执行检查配对。一个互补的受控赛道包含来自 50 个包的 200 个任务，每个任务都在相同的维护请求下在四种状态下进行评估：干净、文档故障、脚本故障以及两者兼有。在四个 LLM 上，同时编辑文档和脚本的方法可以修复脚本故障，但在文档修复或保持方面并未始终优于仅 Markdown 修订。因此，我们引入 AST-Guided Skill Revision，它使用抽象语法树和调用关系将维护需求与相关代码位置关联起来。它将脚本编辑限制在这些位置，并更新文档以匹配修订后的脚本。在模型平均下，这一修订阶段在故障包上使 Raw Package 的修复成功率绝对提升 21.9%，使 CoEvoSkills 绝对提升 27.7%。在全部三次运行中解决的任务比例绝对提升分别达到 20.8% 和 31.5%，表明在重复运行中修复成功率更加一致。
| Comments: | 31 页，包括参考文献和附录 |
| Subjects: | 人工智能（cs.AI）；机器学习（cs.LG）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.04008 [cs.AI] |
| （或 arXiv:2610.04008v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.04008 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yuxuan Liu [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 20:10:12 UTC（763 KB）
[v2]
2026 年 10 月 9 日星期五 20:00:53 UTC（725 KB）
来源：arXiv cs.AI · arxiv.org