Google 论文提出可自我改进的智能体 harness 框架,门控模块编辑准确率接近全量重写但 token 成本仅约十分之一
Google 论文:智能体 harness 自我改进时门控模块编辑准确率接近全量重写但 token 成本仅约十分之一
Google 论文《Harnesses That Improve Themselves》提出可自我改进的智能体 harness 统一框架,每次只改 4 个可编辑组件中的 1 个,并通过验证集和 token 上限的门控机制决定是否保留。
Rohan Paul· @rohanpaul_ai · X·2026-11-20 05:05· 59 分钟前AI 评分54
AI 导读
Google 论文《Harnesses That Improve Themselves》提出可自我改进的智能体 harness 统一框架,核心做法是每次只改 4 个可编辑组件中的 1 个,并通过验证集和 token 上限的门控机制决定是否保留。
正文 · 原文
Google 新论文发现,对智能体 harness 进行不受约束的完全重写,准确率相当,但每项任务消耗的 token 几乎是门控式模块化编辑的 10 倍。
即自我改进的智能体 harness 在每次只改动 1 个代码模块且必须通过验证时效果最佳。
harness 是模型周围的代码,负责管理上下文、运行工具,并在停止前检查工作。为 1 个模型调优的 harness 在另一个模型上常常停滞或浪费 token。
他们让一个优化器模型改进一个 142 行的编码 harness,每次只编辑其 4 个部分中的 1 个。每次编辑都必须通过验证集和 token 上限,否则就被拒绝。
在 Gemini 3.8 Flash 上对 40 个留出的 SWE-bench Lite 任务,门控 harness 解决了 40.0%,而种子版本为 5.0%,每项任务使用 46.7k token。完全不受约束的重写解决了 42.5%,但使用了 451.6k token,而提示规则将准确率降至 2.5%。
如果你让智能体调整其 harness,请对每项更改在留出任务和 token 成本上进行门控,并在代码中而非提示中强制执行规则。
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news