多任务自演化 harness：让智能体成为自身的优化器

查看 PDF HTML（实验性）

摘要：harness 是围绕语言模型智能体的代码，负责组织提示词、调用工具、管理上下文并控制执行。随着模型能力增强，近期研究开始让智能体改进自身的 harness，这一方向被称为自进化 harness。在多数现有方法中，一个运行在人工设计 harness 上的独立提议者会修改求解器的 harness，并且每个基准测试都会演化出单独的 harness。现实世界任务来自众多领域，因此 harness 的演化和评估都应覆盖多样化的任务。我们提出一个接近递归自我改进的框架：同一个冻结模型、同一版本的 harness，先作为求解器解决任务，然后作为提议者读取完整运行记录，并直接编辑运行它的 harness。每个演化批次从不同领域的五个基准测试中抽取任务。为衡量泛化能力，训练任务与留出任务严格分离，我们还在演化过程中从未使用的五个分布外基准测试上进行评估。我们将演化过程视为深度学习的训练过程，分为两个阶段：多任务预训练和持续训练。从 49 行的种子 harness 出发，由 GLM-5.3 和 GPT-5.6 Sol 演化出的 harness 在分布内基准测试上提升约 5 分，达到或超过 Claude Code 和 Codex，且 GPT-5.6 Sol 的 harness 在五个分布外基准测试上与 Codex 持平。第二阶段在 Claw-Eval 上的持续演化随后使 GPT-5.6 Sol 和 GLM-5.3-Flash 超过 Codex 和 Claude Code。我们还深入分析了演化过程中出现的机制，包括输出截断、历史压缩、完成检查、独立审查和视觉检查。代码和演化出的 harness 可在此 https URL 获取。

主题：	人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2609.38372 [cs.AI]
	（或 arXiv:2609.38372v2 [cs.AI] 查看此版本）
	https://doi.org/10.48550/arXiv.2609.38372 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Qiankai Xu [查看邮箱]
[v1] 2026年9月29日星期二 18:33:27 UTC（963 KB）
[v2] 2026年11月12日星期四 08:22:19 UTC（1,142 KB）