arXiv cs.AI· Tianyi Guan, Yiding Wang, Haotong Yang, Siyuan Cao, Shirui Liu, Yi Hu, Jiaqi Li, Muhan Zhang·· 3 天前AI 评分32
ContinualSkillBench：LLM 智能体真能持续进化技能吗？
ContinualSkillBench: Can LLM Agents Truly Evolve Their Capabilities?
AI 导读
研究者提出 ContinualSkillBench，一个面向上下文持续技能学习的动态评测框架，覆盖五个领域、每域 100 个按难度排序且可技能迁移的任务。实验显示顺序执行通常提升表现，但增益因模型和领域差异明显；保留上下文与反馈而不维护技能库，平均表现与显式技能库几乎持平，显式技能仅在需要可复用流程或精确输出的任务上有选择性优势。
正文 · AI 翻译
摘要：现代智能体框架为大型语言模型配备外部技能库以解决复杂任务。然而，这些系统能否有效演化其技能，以及由此产生的技能能否提升任务解决能力，目前尚不清楚。为弥合这一差距，我们提出了 ContinualSkillBench，一个用于上下文内持续技能学习的动态评估框架。它涵盖五个领域，每个领域有 100 个按难度排序的任务，并提供技能迁移的机会。我们的实验表明，顺序执行通常能提升性能，但提升幅度因模型和领域而异。此外，在两个模型和三个领域中，保留上下文和反馈而不进行技能维护所得到的平均性能，与维护显式技能库几乎相同。尽管如此，显式技能对于需要可复用流程或精确输出的任务提供了选择性优势。我们进一步发现，较弱的模型（GPT-4o）积累了更多技能，但复用它们的频率更低，这表明其难以将任务特定经验整合为可复用流程。这些发现表明，当前的上下文内技能演化机制能够支持持续适应，但仍难以持续地将经验整合为稳健且可迁移的技能。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2608.03874 [cs.AI] |
| （或 arXiv:2608.03874v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.03874 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Tianyi Guan [查看邮箱]
[v1]
2026年8月4日星期二 16:15:02 UTC（2,870 KB）
[v2]
2026年10月13日星期二 12:38:59 UTC（766 KB）
来源：arXiv cs.AI · arxiv.org