arXiv cs.AI· Yujun Wang, Jiqiang Li, Yinuo Lu, Jinhe Bi, Aniri, Wenxuan Ye, Boliang Liu, Sikuan Yan, Shuning Wang, Xuebing Zhou, S{\"o}ren Pirk, Hinrich Sch{\"u}tze, Yunpu Ma·· 23 小时前AI 评分34
EvoSkill-S1:用遗传启发算子进化可复用技能
EvoSkill-S1: Evolving Reusable Skills with Genetic-Inspired Operators
AI 导读
EvoSkill-S1 是一个由强化学习驱动的框架,把可复用技能本身作为进化的直接对象,通过 revision、cross-revision、mutation、dual-reflection、crossover 五种遗传启发算子将父技能转化为子技能。
正文 · AI 翻译
作者:Yujun Wang、Jiqiang Li、Yinuo Lu、Jinhe Bi、Aniri、Wenxuan Ye、Boliang Liu、Sikuan Yan、Shuning Wang、Xuebing Zhou、S{ö}ren Pirk、Hinrich Sch{ü}tze、Yunpu Ma
摘要:可复用技能使语言模型智能体能够积累并复用解决问题的经验。然而,现有大多数方法仅通过 rollout 驱动的积累和启发式反思来间接改进技能库,往往导致更新浅层且控制较弱。我们提出 EvoSkill-S1,一个由强化学习驱动的框架,它将可复用技能本身视为进化的直接对象。给定困难负样本失败,EvoSkill-S1 选择父技能,并通过五种受遗传学启发的算子将其转化为候选子技能:修订、交叉修订、变异、双重反思和交叉。下游任务奖励训练技能进化器以生成更有效的子技能,而评估器引导的回写则选择性地保留有益的更新。互补的技能库融合整合了各算子专属的技能库,以利用它们各自不同的恢复模式,而程序化技能接口支持向未见问题的迁移。在所有报告的数学和代码基准上,EvoSkill-S1 在 Qwen 和 GPT 系列求解器下均改进了相应的初始化技能库,相对提升最高达 12.39%。与没有直接技能进化的最强外部基线相比,最大相对提升达到 20.39%。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22610 [cs.AI] |
| (或 arXiv:2611.22610v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22610 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yujun Wang [查看邮箱]
[v1]
2026年11月17日星期二 11:25:25 UTC(1,169 KB)
来源:arXiv cs.AI · arxiv.org