arXiv cs.AI· Renhao Li, Xinjie Shen, Yang Su, Jianhong Tu, Derek F. Wong, Dayiheng Liu, Min Yang·· 2 天前AI 评分38
MetaExp：通过可验证跨任务环境扩展让模型从经验中自我改进
MetaExp: Learning to Self-Improve through Experience via Verifiable Cross-Task Environment Scaling
AI 导读
MetaExp 通过可验证任务族训练模型的经验学习能力，在 Qwen3.5-122B-A10B 上用 1,000 个任务族的 4,956 条轨迹微调，下游参数冻结下 SpreadsheetBench 提升 +8.5 分、AutomationBench 提升 +14.8 分，APEX-Agents 峰值 +2.3。
正文 · AI 翻译
摘要：语言模型智能体可以积累交互反馈，但要将这些反馈可靠地转化为可复用的经验仍然具有挑战性。现有方法要么优化外部经验脚手架，要么在特定任务分布上训练与经验相关的行为，这使得经验学习本身能否成为一种可迁移的模型能力仍悬而未决。训练这种能力需要超越孤立任务的监督，而孤立任务主要支持回合内问题求解，而非揭示哪些知识在跨回合中仍然有用。在这项工作中，我们提出了 MetaExp，一个可扩展的框架，通过具有受控跨任务结构的可验证任务族来训练这种能力。每个任务族保留一个可复用因子，同时改变任务特定的实现方式，从而在不直接复用解的情况下实现迁移。我们提出了两种互补的设计：Shared-Tool 任务族在任务间保持黑盒工具固定，以引出操作性经验；Shared-Workflow 任务族在不断变化的实现方式中保留潜在流程，以引出程序性经验。我们在两种设计下扩展环境，收集并过滤顺序交互轨迹，并在来自 1,000 个任务族的 4,956 条轨迹上微调 Qwen3.5-122B-A10B。在下游演化过程中参数冻结的情况下，MetaExp 在 SpreadsheetBench 上提升了 +8.5 分，在 APEX-Agents 上最高提升 +2.3，在 AutomationBench 上提升了 +14.8。这些增益在排除领域的训练下依然存在，支持将经验学习视为一种可迁移能力，用于部署后持续的非参数化改进。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.21492 [cs.AI] |
| （或 arXiv:2610.21492v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21492 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Renhao Li [查看电子邮件]
[v1]
2026年10月15日星期四 08:29:01 UTC（492 KB）
来源：arXiv cs.AI · arxiv.org