arXiv cs.CL· Dastin Huang, Baran Nama, Salaheddin Alzubi·· 11 小时前AI 评分36
EvoSkill v2:从基准适配到有状态进化器的全智能体技能进化
EvoSkill v2: Fully Agentic Skill Evolution from Benchmark Adaptation to a Stateful Evolver
AI 导读
EvoSkill v2 是一个三智能体系统,通过基准适配器、solver 和 evolver 改写智能体技能,同时保持模型与 harness 不变。
正文 · AI 翻译
摘要:EvoSkill v2 是一个三智能体系统,它编辑智能体所接收的指令(技能),同时保持其模型和运行框架不变。用户通过描述基准并提供评分器来启动一次运行,基准适配器会将其转换为基准专用插件。求解器尝试完成任务,进化器读取求解器的训练轨迹,并在每个 epoch 重写技能。我们将进化器实现为一个有状态的编码智能体,在整个运行过程中使用 bash 工具,这不同于我们调研的技能优化器中最常见的两种设计:如 SkillOpt 中的一系列单次模型调用,以及如 SkillBoost 中每轮重新开始的智能体。我们还测量了求解器的轨迹在不同尝试之间的变化程度,为进化器在每项训练任务上提供多次尝试机会,并接受每个 epoch 的技能,而不是根据有噪声的分数在它们之间进行选择。在细粒度真实标注下,EvoSkill v2 的技能在 SpreadsheetBench v2 上将留出通过率比 SkillOpt 和 SkillBoost 中较强的一个高出 7.7 个百分点,在 $\tau^3$-bench banking 上高出 5.4 个百分点。在两个基准和两种反馈设置中,EvoSkill v2 的进化器每提升一个百分点的留出通过率所花费的成本都低于任一基线的优化器。EvoSkill v2 还能让能力较弱的模型改进自身技能,这一点在 $\tau^3$-bench banking 实验中得到了证明:在该实验中,Claude Haiku 5.5 同时驱动求解器和进化器,提升幅度最高达 21.5 个百分点。
| 评论: | 14 页,5 张图 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2610.25931 [cs.AI] |
| (或 arXiv:2610.25931v2 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.25931 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Dastin Huang [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 07:29:21 UTC(83 KB)
[v2]
2026 年 10 月 23 日星期五 07:11:56 UTC(84 KB)
来源:arXiv cs.CL · arxiv.org