arXiv cs.AI· Enze Ma, Chunyu Miao, Yankai Chen, Jie Yang, Liancheng Fang, Kening Zheng, Hanrong Zhang, Muyao Xu, Xinle Yu, Chengze Li, Wei-Chieh Huang, Ziwei Ren, Yunhao Du, Zhixiang Shen, Xue Liu, Philip S. Yu, Zhen Wang·· 2 天前AI 评分32
SkillNEO:智能体技能的非精英进化优化
SkillNEO: Non-Elitist Evolutionary Optimization of Agent Skills
AI 导读
SkillNEO 用非精英进化优化 LLM 智能体技能,将 GPT-5.4 Mini 在 86 项 SkillsBench 任务上的平均奖励从 49.1% 提升至 66.4%,覆盖软件工程、办公等八个领域。
正文 · AI 翻译
作者:Enze Ma、Chunyu Miao、Yankai Chen、Jie Yang、Liancheng Fang、Kening Zheng、Hanrong Zhang、Muyao Xu、Xinle Yu、Chengze Li、Wei-Chieh Huang、Ziwei Ren、Yunhao Du、Zhixiang Shen、Xue Liu、Philip S. Yu、Zhen Wang
摘要:智能体技能将程序性知识转化为可复用的产物,使 LLM 智能体能够通过经验积累并精炼专业技能。在此基础上,技能演化利用执行反馈迭代改进技能。然而,改进可能需要若干相互依赖的编辑,因此低奖励版本仍可能值得继续开发。要求即时奖励提升可能会在部分修复的收益显现之前就将其丢弃。非精英演化允许新版本即使得分低于早期版本,仍能接受进一步编辑。对于智能体技能而言,这需要证据来表明下一步应保留和修复什么。我们提出 SkillNEO(面向智能体技能的非精英演化优化),它分别选择一个版本用于使用、以及若干版本用于持续改进。比较相关版本执行同一任务的表现,可以揭示应保留的有效步骤和仍需修复的剩余失败。它还可以利用后续证据重新审视并修订早期版本。在涵盖软件工程和办公工作等八个领域的 86 项 SkillsBench 任务中,SkillNEO 将 GPT-5.4 Mini 的平均奖励从 49.1% 提升至 66.4%,处于 GPT-5.5 和 GPT-5.6 Luna 原始技能范围内。Mini 执行任务、提出修订并编辑技能;最终评估使用相同的任务实例。增益覆盖全部八个领域。相同的技能无需进一步编辑即可改进更强的模型。在 41 项修改了技能的任务上,复用使 Luna 提升 10.5 个百分点,并使 GPT-5.5 比其已发布的原始技能参考高出 10.6 个百分点。执行记录显示,即使 Mini 仍未能满足某些任务要求,这些技能也能使更强的模型受益。搜索历史还显示,得分较低的版本最终导向了被选中使用的技能。总之,这些发现表明,技能演化可以将较弱模型的部分进展转化为可复用的程序性知识,用于改进能力更强的智能体。
| 学科: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.20926 [cs.AI] |
| (或使用 arXiv:2610.20926v1 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.20926 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Enze Ma [查看邮箱]
[v1]
2026年10月14日星期三 20:57:26 UTC(6,093 KB)
来源:arXiv cs.AI · arxiv.org