跳到正文
arXiv cs.AI· Jiahang Lin, Jiahao Chen, Yiding Wang, Shichun Liu, Chengjun Pan, Shihan Dou, Honglin Guo, Yuyang Hu, Changhao Jiang, Zhenhua Han, Hang Yan, Qi Zhang, Tao Gui, Xuanjing Huang·· 10 小时前AI 评分42

Agentic Harness Engineering Beta:以需求为中心的智能体框架演化

Agentic Harness Engineering Beta: Requirement-Centered Evolution of Agent Harnesses

AI 导读

AHE-Beta 提出以需求为中心的智能体框架演化闭环,在留出任务上将 pass@1 从 21.9% 提升至 33.3%,同时比 Base Harness 少用 40.8% 的 token,并高于 Claude Code、Meta-Harness 和 AHE。

正文 · AI 翻译

作者:Jiahang Lin、Jiahao Chen、Yiding Wang、Shichun Liu、Chengjun Pan、Shihan Dou、Honglin Guo、Yuyang Hu、Changhao Jiang、Zhenhua Han、Hang Yan、Qi Zhang、Tao Gui、Xuanjing Huang

查看 PDF HTML(实验性)

摘要:现实世界的 harness 工程由显式和隐式的用户需求驱动,这些需求指导开发与验证。然而,现有的 harness 演化方法往往忽视隐式需求和交互需求,同时使用单一的演化智能体来修改 harness,并以基准分数来选择改动。这一过程常常产生狭窄的补丁,并导致针对特定基准的局部最优。我们提出 Agentic Harness Engineering Beta(AHE-Beta),这是一个以需求为中心的循环,将现实世界的工程实践引入 harness 演化。该循环包含三个步骤:(1)用户驱动评估让模拟用户在与 harness 进行多轮交互的过程中以 issue 的形式提出需求。(2)基于团队的修改将这些需求实现为可泛化的改动,而非针对特定任务的补丁。(3)需求驱动选择仅在改动解决了一项经验证的需求并通过评审时才合并该改动。在实证上,在留出任务上,AHE-Beta 将 pass@1 从 21.9% 提升至 33.3%,同时相比 Base Harness 少用 40.8% 的 token,并且 pass@1 高于 Claude Code、Meta-Harness 和 AHE。在盲测人工 A/B 测试中,真实用户在 48 个有效配对中有 31 个偏好 AHE-Beta,并在全部五个维度上给出更高评分,这与用户模拟器的方向性偏好一致。人工 A/B 结果表明,AHE-Beta 实现了其目标,即使 harness 演化与现实世界用户需求对齐。在不再进一步演化的情况下,这些增益可迁移到 GLM-5.3 和 DeepSeek-V4.1-Flash,相比 Base Harness 的 pass@1 分别提升 15.8% 和 5.3%。综合来看,这些结果表明,以需求为中心的 harness 演化是提升智能体能力的一种更通用的方法。
学科: 软件工程(cs.SE);人工智能(cs.AI)
引用为: arXiv:2611.24924 [cs.SE]
  (或本版本的 arXiv:2611.24924v1 [cs.SE])
  https://doi.org/10.48550/arXiv.2611.24924

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jiahang Lin [查看邮箱]
[v1] 2026年11月18日 星期三 18:52:13 UTC(512 KB)

来源:arXiv cs.AI · arxiv.org