RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 8 天前AI 评分55
Stanford 论文提出按失败类型决定改 harness 还是训练权重
AI 导读
Stanford 等机构的论文发现,harness(提示词、工具、检查)改动能修复循环或停滞等过程失败,而交付糟糕计划的内容失败需要权重训练。研究把失败运行分为过程失败(如循环、步数预算耗尽)和内容失败(交付了糟糕计划),在旅行规划基准上由 LLM 驱动的循环改写 harness,最佳运行再对模型做微调。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-10-11 04:40· 45 分钟前AI 评分55
AI 导读
一篇 Stanford 等机构的论文发现,harness(提示词、工具、检查)改动能修复循环或停滞等过程失败,而交付糟糕计划的内容失败需要权重训练。
正文
Stanford 新论文发现,harness 改动能修复陷入循环或停滞的智能体,而交付糟糕计划的智能体则需要权重训练。
智能体可以通过编辑其 harness(模型周围的提示词、工具和检查)来改进,也可以通过微调其权重来改进。
他们将失败的运行分为过程失败(如循环和步数预算耗尽)和内容失败(交付了糟糕的计划)。在一个旅行规划基准上,一个由 LLM 驱动的循环重写了 harness,其最佳运行随后对模型进行了微调。
Harness 演化将 Qwen3.5-4B 在留出任务上的表现从 0.16 提升到 0.30,计划交付率从 55% 升至 90%。Harness 编辑从未减少糟糕计划的占比,但一个 LoRA 适配器将 Qwen3.5-9B 留出运行中的糟糕计划从 28% 降至 5%。
在改进智能体之前,先标注其运行失败的原因,然后在 harness 中修复过程失败,在权重中修复内容失败。
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news