arXiv cs.AI· Hansi Yang, Linji Hao, Hongyan Hao, An Wang, Han Wu, Qi Gu, Xunliang Cai·· 3 天前AI 评分39
ClawLoop：通过 Harness 原生训练循环实现自我改进的智能体
ClawLoop: Self-Improving Agents via Harness-Native Training Loop
AI 导读
ClawLoop 是一个无需外部教师模型、仅依赖极少先验的自我改进框架，将任务合成、训练与诊断反馈组成自循环。以 Qwen3.6-27B 作为循环模型，ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得持续提升，迭代优化的任务还可迁移至 Qwen3.5-4B 和 9B 模型并在所有基准上获得增益。
正文 · AI 翻译
摘要：大型语言模型（LLM）的快速进步推动其部署走向通用型 harness 环境，基于 LLM 的智能体在此类环境中于沙箱工作区运行，并直接与文件系统和 shell 交互。尽管针对工具使用型智能体已存在大量后训练流水线，但面向基于 harness 的智能体的对应流水线仍然稀缺，且大多为一次性、依赖教师模型：由更强的外部模型合成任务并收集轨迹，目标智能体仅训练一次，评估结果供人类研究者使用，而非反馈回循环中。此类流水线本质上受限于外部模型的能力和人类先验的范围，没有自我改进的空间。为解决这些局限，我们提出 ClawLoop，一个无需任何外部教师模型、且对先验依赖极少的自我改进框架。ClawLoop 将三个阶段组合成一个自我维持的循环：任务合成，通过两种互补的构建例程生成多样化的训练任务池，应用诊断条件化的难度增长，随后进行无智能体和基于智能体的任务验证；训练，通过 SFT 和/或 RL 更新智能体；诊断与反馈，分析智能体的 rollout 行为以生成能力分析报告，该报告将作为下一轮迭代中任务合成的反馈。使用 Qwen3.6-27B 作为循环模型，ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得了一致的提升。迭代优化的任务进一步迁移到更小规模的 Qwen3.5-4B 和 9B 模型，在所有基准上均有增益，独立于循环模型验证了数据质量。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.14118 [cs.AI] |
| （或 arXiv:2610.14118v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14118 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hansi Yang [查看邮箱]
[v1]
2026年10月9日星期五 08:52:34 UTC（1,993 KB）
来源：arXiv cs.AI · arxiv.org