arXiv cs.AI· Minhua Lin, Juncheng Wu, Zijun Wang, Zhan Shi, Yisi Sang, Bing He, Zewen Liu, Tianxin Wei, Zongyu Wu, Zhiwei Zhang, Dakuo Wang, Xiang Zhang, Benoit Dumoulin, Cihang Xie, Yuyin Zhou, Suhang Wang, Hanqing Lu·· 11 小时前AI 评分38
自进化 LLM 智能体的“harness 更新”与“harness 收益”并非一回事
Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
AI 导读
研究区分了 LLM 智能体自进化的两种能力：harness-updating（从执行证据产出持久 harness 更新）与 harness-benefit（在任务求解中受益于更新后的 harness）。
正文 · AI 翻译
作者：Minhua Lin、Juncheng Wu、Zijun Wang、Zhan Shi、Yisi Sang、Bing He、Zewen Liu、Tianxin Wei、Zongyu Wu、Zhiwei Zhang、Dakuo Wang、Xiang Zhang、Benoit Dumoulin、Cihang Xie、Yuyin Zhou、Suhang Wang、Hanqing Lu
摘要：LLM 智能体越来越多地以围绕可编辑外部 harness 构建的系统形式部署，这些 harness 包括提示词、技能、记忆和工具，它们在不改变模型参数的情况下塑造任务执行。Harness 自我演化通过从执行证据中更新这些 harness 来使此类智能体自适应。然而，模型在任务求解中的基础能力是否能预测其在 harness 自我演化中的能力，目前仍不清楚：哪些模型能产生有用的 harness 更新，哪些模型能真正从中受益？我们分析了两种 harness 自我演化能力：(i) harness 更新能力，即从执行证据中产生有用的持久性 harness 更新的能力；(ii) harness 受益能力，即在任务求解过程中从更新后的 harness 中受益的能力。我们的分析揭示了两项发现。第一，harness 更新能力与基础能力无关：来自不同能力层级的模型所产生的 harness 更新带来的增益出奇地相似；甚至 Qwen3.5-9B 的更新所带来的增益也与 Claude Opus~4.6 相当。第二，harness 受益能力与基础能力呈非单调关系：弱层级模型从更新后的 harness 中获益很少，中层级模型获益最多，而强层级模型的获益少于中层级。我们将弱层级模型的低增益归因于两种失败模式：弱层级模型可能无法激活相关的 harness 产物，或者激活了但未能忠实地遵循它们。这些发现表明，应将能力预算投入到任务求解智能体而非演化器上，并在智能体训练中针对 harness 调用和长程指令遵循进行训练。我们的源代码已公开于 此 https URL。
| 评论： | 已被 EMNLP 2026（主会）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.30621 [cs.AI] |
| （或 arXiv:2605.30621v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30621 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minhua Lin [查看电子邮件]
[v1]
2026 年 5 月 28 日星期四 22:16:14 UTC（1,619 KB）
[v2]
2026 年 11 月 4 日星期三 20:26:58 UTC（1,629 KB）
来源：arXiv cs.AI · arxiv.org