arXiv cs.AI· Arkid Mitra, Snehil Saluja·· 1 天前AI 评分32
冻结权重下的智能体自我改进：失败轨迹的附加价值与局限
Agent Self-Improvement with Frozen Weights: The Added Value and Limits of Failure Traces
AI 导读
研究在固定权重的开源 9B 参数模型上验证：由更大教师模型撰写、基于智能体失败轨迹的笔记，在生成的客服决策任务上比不含错误的同流程笔记准确率提升 4.0 个百分点，但仅靠"尝试并保留高分笔记"的搜索流程就贡献了约 60% 的总提升。在完整客服对话中这些笔记未显示出改进；工具使用任务上，未见过智能体错误的笔记同样无增益，且盲审判定 240 条工具使用测试项中有 146 条存在缺陷。
正文 · AI 翻译
摘要：我们评估了 AI 智能体的 harness（即围绕其模型的笔记）能否从智能体的失败轨迹中学习，且效果超过从未见过这些轨迹的匹配搜索。答案是能，但效果没有看起来那么大。我们测试了一个权重固定的开源 90 亿参数模型；由更大的教师模型为其撰写笔记。在生成的客服决策任务中，两位笔记撰写者都被告知了目标规则，基于智能体错误的笔记比同一流程中隐去错误的笔记准确率提高了 4.0 个百分点。仅该流程本身（尝试并保留得分更高的笔记）就达到了总改进的约 60%。在完整的客服对话中，同样的笔记未显示出可证明的改进。另外，对单条经验教训的严格筛选通过了 2 条客服经验教训（仍待在新数据上测试）和 1 条工具使用经验教训（撰写时未看到智能体的错误），后者在新工具使用任务上未显示出可证明的收益。一条不含任何流程的中性笔记得分高于学到的经验教训（探索性）。一次盲审判定 240 个工具使用测试项中有 146 个存在缺陷。
| 评论： | 6 页，1 张图，1 张表。代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6；I.2.7；I.2.11 |
| 引用为： | arXiv:2611.11342 [cs.LG] |
| （或 arXiv:2611.11342v2 [cs.LG] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2611.11342 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Arkid Mitra [查看邮箱]
[v1]
2026 年 11 月 8 日周日 12:39:45 UTC（208 KB）
[v2]
2026 年 11 月 11 日周三 01:46:48 UTC（208 KB）
来源：arXiv cs.AI · arxiv.org