arXiv cs.AI· Zhengxi Li, Junyi Zhou, Qiyuan Zhang, Chuhan Wu, Fuyuan Lyu, Le Tian, Xiao Zhou, Chen Ma, Yufei Wang·· 3 天前AI 评分34
SkillForgeBench：基于 Agent 技能规范的智能体可靠性评测基准
SkillForgeBench: Evaluating Agent Reliability Grounded in Agent Skill Specifications
AI 导读
研究者提出 SkillForgeBench，用 agent skills 作为统一执行蓝图，构建覆盖五大专业领域的 842 个沙盒任务，评测智能体严格满足复杂流程要求的能力。
正文 · AI 翻译
摘要：评估智能体严格满足多样且程序复杂需求的能力，对于确定其实际可靠性至关重要。开展此类评估需要能够兼顾广泛领域覆盖与深层程序复杂性的智能体任务。现有范式面临一个根本性权衡：专家精心策划的基准实现了程序深度，却受困于领域多样性瓶颈；而众包基准虽覆盖多样场景，却缺乏执行严谨性。为解决这一矛盾，我们提出 SkillForgeBench，它利用智能体技能作为统一的执行蓝图，贯穿三个协同设计的阶段：（1）资源准备使用领域均衡的技能来指导工件检索，建立广泛的工作流覆盖；（2）技能驱动任务合成将技能作为程序锚点，划分工件角色、合成自然化任务指令，并打包沙箱场景以实现深层程序执行；（3）整体评估设计将嵌入技能的需求转化为细粒度的完成度和过程评分标准，以实现严格的需求级评分。SkillForgeBench 包含横跨五大专业领域的 842 个沙箱任务，揭示了八个主流智能体之间陡峭的能力层级，其中 Opus 4.8 以 $40.9\%$ 的严格完成率领先。要求满足所有约束条件，暴露出所有模型层级中严重的能力瓶颈，而这些瓶颈在单项评分标准通过率下被掩盖（$70.0\%$ 至 $85.7\%$ 对比 $12.6\%$ 至 $40.9\%$）。至关重要的是，在技能的外部指导下，顶级智能体比低层级智能体获得更大增益（即 Opus 4.8 的 $\Delta 19.2\%$ 对比 Haiku 4.5 的 $\Delta 5.8\%$）。最后，智能体满足过程评分标准的频率远低于完成度评分标准（Haiku 4.5 低于 $3\%$），证明仅检查完成度会高估真实世界中的智能体可靠性。
| 评论： | 38 页，9 幅图，7 张表，包括附录。前两位作者对本工作贡献相同 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14918 [cs.AI] |
| （或 arXiv:2610.14918v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14918 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Junyi Zhou [查看邮箱]
[v1]
2026年10月10日星期六 13:40:38 UTC（1,277 KB）
来源：arXiv cs.AI · arxiv.org