arXiv cs.AI· Kaixing Zhang, Changming Li, Yingdong Shi, Zheng Zhang, Kaitao Song, Wenjie Shi, Jingang Wang, Kan Ren·· 3 天前AI 评分28
Rep2Skill:面向 LLM 智能体的表征引导技能自进化
Rep2Skill: Representation-Guided Skill Self-Evolution for LLM Agents
AI 导读
Rep2Skill 是一个表征引导的 LLM 智能体技能自进化框架,通过建模智能体 rollout 的内部表征轨迹定位偏离成功执行动态的轮次,并将其与执行上下文一起转化为可操作的文本反馈以修订技能。在两个智能体环境和两个开源 LLM 上的实验显示,在同一个 LLM 同时充当执行者与优化器、不依赖更强外部模型的自进化设定下,Rep2Skill 持续优于纯文本方法。
正文 · AI 翻译
摘要:文本技能使基于大语言模型(LLM)的智能体能够在不更新模型参数的情况下积累可复用的程序性知识。然而,现有的技能演化在很大程度上局限于文本空间:优化器必须仅从冗长的执行轨迹和稀疏的任务结果中诊断成功与失败的模式,并据此修订技能。这种纯文本范式将智能体的内部表征——其中包含其演化执行状态的丰富记录——排除在技能优化循环之外。我们提出疑问:智能体能否通过反思自身的内部表征来改进其外部文本技能?我们提出了 Rep2Skill,一个表征引导的智能体技能自演化框架。具体而言,在收集到的智能体轨迹上,Rep2Skill 对其内部模型表征轨迹进行建模,以定位偏离成功执行动态的轮次,并进一步将这些信号与执行上下文一起解释为可操作的文本反馈,用于有针对性的技能修订。在两个智能体环境、两种开源 LLM 上的实验表明,Rep2Skill 在自演化设置中持续优于纯文本方法,其中同一个 LLM 同时充当执行器和优化器,且没有更强的外部模型。这为智能体自我改进超越纯文本反思确立了一个有前景的方向。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2609.39149 [cs.AI] |
| (或 arXiv:2609.39149v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.39149 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Kaixing Zhang [查看电子邮件]
[v1]
2026年9月30日星期三 07:15:10 UTC(2,170 KB)
[v2]
2026年10月13日星期二 04:04:53 UTC(2,179 KB)
来源:arXiv cs.AI · arxiv.org