Google Research 开源递归式智能体优化框架 Harness²

meng shao· @shao__meng · X·2026-10-18 16:07· 41 分钟前AI 评分66

AI 导读

Google Research 开源 Harness²，一个递归式智能体 Harness 优化框架，地址为 https://github.com/google-research/harness2。

正文 · 原文

Google Research 最新开源了 Harness²：递归式智能体 Harness 优化框架

Harness² 解决的两个开放世界难题
1. 测试时遇到的是没见过的任务，没有 ground-truth 验证器。在线改 harness 时你不知道答案对不对，无法用“分数涨了没有”来指导编辑。
2. 递归自我改进（RSI）通常是任务特化的，换个任务就失效，无法泛化积累。

开源地址：https://github.com/google-research/harness2

核心机制：两层递归

第一层：任务级递归，Propose–Probe–Compose（对比式改进环）
· Propose（提案）：先跑一次当前 harness 的参考执行。注意，这次执行揭示的是“harness 如何表现”，而不是“交付物是否正确”。基于任务、参考轨迹和历史，提出两个候选 harness：一个针对跨领域通用的代理性缺陷（规划、工具使用、上下文管理、委派），一个针对当前领域的知识、流程和约束。每个候选都是可直接执行的文件级编辑。
· Probe（探针）：两个候选在同一任务、同等的模型和环境条件下执行，与参考执行对比得到行为对比；编辑是否缓解了目标缺陷、毫无变化、还是造成回归。论文明确说这些对比只“为后续组合提供信息，而非验证任务正确性”。
· Compose（组合）：读取参考执行、两个候选、它们的 diff 和全部执行证据，有选择地构建后继 harness：合并被证据支持的修改、修订冲突、采纳其一、或保持原样。每个决策必须绑定一个具体观察，而不是假想的分数增益。
这一步是整个工作的关键创新：在没有标准答案的情况下，用“同任务下的 A/B 行为对比”替代分数反馈来指导编辑，绕开了开放世界没有验证器的死结。

第二层：harnessing 级递归，持续改进的 improvement harness
每个任务结束后，框架对完整的改进记录做反思，把被采纳的 harness 和有证据支持的教训写入一个按领域组织的持久库。要点有三：
· 教训只有在执行对比支持时才保留——单次选出了好输出不等于可迁移；
· 库里存的是可执行的组件文件而非散文式摘要，配一份 EXPERIENCE.md 记录适用场景和证据；
· 下一个任务仍从公共基础 harness 出发（执行 harness 不继承），但 Propose/Probe/Compose 由更新后的库引导；即“改进 harness 本身”也在被改进，这就是标题里 Harness² 的双重含义。

两种扩展模式：parallel（同时探测 k 组候选，k 个独立组合会话）和 sequential（k 步链式精炼，逐步携带累积证据），两种模式从 k=1 到 5 均单调提升。

八个可编辑组件 - 按作用分组
· 上下文构建：系统提示词、护栏、记忆，每次调用都生效
· 工具接口：工具指引、Skills，Skills 按需加载不占成本
· 编排：subagents，唯一会增加推理上下文的组件
· 脚本：新确定性能力，执行而非推理
· 插件：TypeScript 中间件，“在工具环内强制一种行为，而非指令它”

主要结果（k=1 单步，编辑器为 Claude Opus 4.8）
WorkBuddy-Bench
· Gemini 3.5 Flash：+5.1 (OpenCode)
· GLM-5：+11.5 (OpenCode，64.2→75.7)
JobBench
· Gemini 3.5 Flash：+4.5 (OpenCode)
· GLM-5：+3.6 (OpenCode)
LAB 部分通过率
· Gemini 3.5 Flash：+4.0 (Codex)
· GLM-5：+11.8 (OpenCode，59.6→71.4)

更值得注意的发现：
· 越弱的执行模型获益越大，且 GLM-5 换上改进后的 harness 反超了 Gemini 的基础分数，“换 harness”在某些场景下顶得上“换模型”；
· 改进后的 harness 跨模型迁移（为 Gemini 精炼的 harness 给 GLM-5 在 Code 子集带来 +17.3），也胜过 Claude Code、Codex 的固定生产 harness 4.6–5.8 分；
· 执行器和编辑器用同一个模型也能涨（GLM-5 自编辑在 LAB 上 +13.7），说明不依赖更强的“老师”模型；
· 库的消融：去掉 library 在 WorkBuddy-Bench 上损失 3.1 分，验证了 harnessing 级递归的价值；库还能跨基准迁移（JobBench 的库迁移到 WorkBuddy-Bench 仍有 +0.6~+2.9）。

来源：meng shao · x.com