arXiv cs.AI· Yuval Kansal, Karen Ullrich, Polina Kirichenko, Ilia Kulikov, Niraj K. Jha, Mohammad Pezeshki, Mark Ibrahim·· 11 小时前AI 评分52
Self-Direction：让智能体把错误转化为持久经验
Don't Forget What You Just Learned: Self-Directed Repair Turns Agent Mistakes Into Lasting Lessons
AI 导读
论文提出 Self-Direction 机制，智能体任务失败后反思自身轨迹并提炼经验，立即蒸馏进轻量低秩适配器，原始权重保持冻结，每个适配器训练的参数约为基础模型参数量的 0.02%。
正文 · AI 翻译
摘要：智能体应当从错误中学习，使经验带来持续改进。然而，如今的智能体从错误中恢复只是暂时的：上下文内的反思在跨会话时容易被遗忘，并且会争夺有限的上下文，而全参数微调成本高昂，还可能干扰已有能力。我们提出 Self-Direction，这是一种让智能体从错误中学习的机制，它结合了临时上下文内重试与策略更新的优点。当智能体任务失败时，它会反思自身轨迹以提取教训，并立即将其蒸馏到一个轻量级低秩适配器中。通过保持原始权重冻结，Self-Direction 防止适配器训练覆盖基座模型参数，同时每个适配器训练约相当于基座模型参数量 0.02% 的额外参数。随后，智能体将这些适配器保存在一个持久的经验库中，并在之后自动路由它们以解决相关问题。基于 Qwen 系列开放权重模型的智能体在开放式研究（GAIA）、工具使用工作流（Claw-Eval）和终端任务（Terminal-Bench 2.1）上的实验表明，我们的方法将总体成功率提高了 8.9 至 17.0 个百分点，并与前沿系统表现相当。我们发现，Self-Direction 减少了未来再次遇到任务时的重复错误，使智能体纠正的可靠性几乎翻倍。学到的经验还可以迁移：少量适配器无需额外训练即可泛化到数十个新任务。最终，这种自我导向的修复将日常错误转化为持久的经验。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.31846 [cs.AI] |
| （或 arXiv:2610.31846v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31846 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuval Kansal [查看邮箱]
[v1]
2026年10月22日星期四 19:29:38 UTC（1,686 KB）
来源：arXiv cs.AI · arxiv.org