arXiv cs.AI· Gengyue Dong, Ye Wei, Zheng Zhu, Yidong Han, Jiale Miao, Xiaojun Jia, Guanghui Li·· 4 小时前AI 评分38
SkillBuffBench:衡量 Agent Skills 在不同 Harness、模型、技能访问模式与记忆下的贡献
SkillBuffBench: Measuring What Agent Skills Contribute across Harnesses, Models, Skill Access Modes and Memory
AI 导读
研究者提出 SkillBuffBench,一个将 Skill 访问分为无 Skill、精选 Skill、从已安装库自动调用三档的基准与配对评估协议,并与记忆开关、四种 agent harness 及多个模型交叉组合。
正文 · AI 翻译
摘要:Agent Skills 是一种基于文件的过程性知识包,编码智能体可按需发现并加载,如今每个主流智能体框架都已提供,然而关于它们有多大帮助的证据几乎全部来自这样的实验设置:为任务手工挑选正确的 Skill,且智能体从空白状态开始。这两点在部署中都不成立:智能体要从恰好已安装的任意技能库中选择,并且经常带着先前工作的记忆。我们提出 SkillBuffBench,一个基准与配对评估协议,将 Skill 访问视为三水平因子(无 Skill、精选 Skill、从已安装库中自动调用),并与记忆(关闭与开启)、四种智能体框架以及多个模型(Anthropic、Google 和 OpenAI 的最先进专有模型,以及中国厂商的最先进开放权重模型)交叉,每个模型都在每种框架下运行,并在由领域专家贡献的研究任务及其所用 Skills 上评估结果,目前涵盖材料科学与生物学,任务套件将滚动扩展。每次运行都由确定性验证器标记;不确定性以配对的任务级自助法报告;成本、智能体轮数和实际耗时与得分并列报告,而非并入得分。本版论文描述该基准的设计、评估协议及其当前任务与 Skills。评估正在进行中:结果将在运行完成后补充,任务套件、结果与分析将持续滚动更新。
| 评论: | 18 页,2 幅图,6 张表。工作进行中:基准设计与协议;结果将在后续版本中补充 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22017 [cs.AI] |
| (或 arXiv:2611.22017v1 [cs.AI] 用于本版本) | |
| https://doi.org/10.48550/arXiv.2611.22017 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Gengyue Dong [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 00:12:40 UTC(27 KB)
来源:arXiv cs.AI · arxiv.org