跳到正文
arXiv cs.AI· Hao Chen, Yukun Yan, Ziyu Han, Ye He, Chuanzhe Guo, Shangzhan Li, Qi Shi, Qingfu Zhu, Maosong Sun, Wanxiang Che·· 12 小时前AI 评分34

RuHarness:让评分标准与智能体框架协同进化,实现持续自我改进

When the Critic Falls Behind: Co-Evolving Rubrics and Harnesses for Continual Agent Self-Improvement

AI 导读

RuHarness 是一个评分标准与智能体框架协同进化的框架,用于智能体的持续自我改进。它从执行轨迹中持续发现并重新评估行为标准,优先处理最相关的未解决弱点,并据此指导框架的针对性更新,同时保持任务目标不变。在多种智能体任务和基座模型上的实验显示,RuHarness 优于强框架进化基线,在未见过的留出任务上尤其明显。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:自主智能体日益依赖围绕大语言模型(LLM)来管理交互、记忆、工具与执行的 harness。尽管近期工作已开始从执行经验中演化这些 harness,但用于引导演化的监督信号往往相对静态,难以追踪多轮之间不断变化的行为弱点,并可能限制对未见任务的泛化能力。为解决这一问题,我们提出 RuHarness,一个用于智能体持续自我改进的评分标准—harness 协同演化框架。RuHarness 从执行轨迹中持续发现并重新评估行为准则,优先处理最相关的未解决弱点,并在保持任务目标固定的同时,用这些弱点指导有针对性的 harness 更新。在多种智能体任务和骨干模型上的大量实验表明,RuHarness 优于强 harness 演化基线,尤其是在未见过的留出任务上。进一步分析表明,自适应评分标准优先级排序能够追踪不断变化的弱点,并在多轮演化中支持更持续的改进和稳定的泛化。
主题: 人工智能(cs.AI)
引用为: arXiv:2610.36826 [cs.AI]
  (或 arXiv:2610.36826v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.36826

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hao Chen [查看邮箱]
[v1] 2026年10月27日星期二 08:24:44 UTC(7,265 KB)

来源:arXiv cs.AI · arxiv.org