arXiv cs.AI· Yu Cui, Hong He, Ruiqing Yue, Sicheng Pan, Zhuoyu Sun, Yifei Liu, Ting Li, Wenzhuo Zhu, Baohan Huang, Haibin Zhang, Cong Zuo·· 11 小时前AI 评分34
MaD-RSI：以模型为数据，实现 Agent Harness 的递归自我改进
MaD-RSI: Model-as-Data for Recursive Self-Improvement of Agent Harnesses
AI 导读
MaD-RSI 提出将模型视为数据、以 harness 为中心的优化框架，通过把多个异构 LLM 的失败轨迹纳入训练，直接优化一个共享 harness，而非仅用单一模型反馈训练后再评估泛化性。实验显示该方法在多个数据集和 LLM 上提升了跨模型泛化能力，同时降低了训练成本。作者还提出包含两项互补指标的新评估框架，用于衡量 harness 跨模型优化效果。
正文 · AI 翻译
作者：Yu Cui、Hong He、Ruiqing Yue、Sicheng Pan、Zhuoyu Sun、Yifei Liu、Ting Li、Wenzhuo Zhu、Baohan Huang、Haibin Zhang、Cong Zuo
摘要：智能体 harness 的递归自我改进（RSI）已成为提升大语言模型（LLM）智能体能力的有效方法。通过在给定数据集上为特定 LLM 搜索 harness 空间，RSI 能够发现与该模型能力和行为特征相匹配的 harness。然而，这种优化往往会使学习到的 harness 与其目标 LLM 之间形成强耦合，限制了跨模型的泛化能力，并且需要大量计算资源才能适配新的 LLM。此外，现有 RSI 方法通常仅利用单一模型的反馈来优化 harness，并在训练后才评估其向其他模型的泛化能力。这一范式主要将模型差异视为评估泛化能力的标准，而非有价值的优化依据。本文提出一种新视角，将模型视为数据，并将 harness 置于优化的中心。基于这一视角，我们提出 \textsc{MaD-RSI}，一个通过在训练过程中纳入多个异构 LLM 的多样化失败轨迹，直接优化共享 harness 的框架。\textsc{MaD-RSI} 并非仅在优化后评估模型差异，而是将这些差异作为训练依据，引导共享 harness 的自我改进。此外，我们引入一个新的评估框架，包含两个互补指标，用于评估 harness 优化在多个模型上的有效性。在多个数据集和 LLM 上的实验表明，\textsc{MaD-RSI} 在降低训练成本的同时，相比现有方法提升了泛化能力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28201 [cs.AI] |
| （或 arXiv:2610.28201v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28201 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yu Cui [查看邮箱]
[v1]
2026年10月20日星期二 13:41:00 UTC（589 KB）
来源：arXiv cs.AI · arxiv.org