Harness Learning：通过执行反馈实现可泛化的测试时自适应

查看 PDF HTML（实验性）

摘要：语言模型智能体由其模型和运行框架共同定义，运行框架是组织模型调用、工具使用和信息流的可执行程序。由于不同任务需要不同的方式来组织这些操作，运行框架需要根据当前任务的反馈进行调整。我们提出了运行框架学习（harness learning），它训练一个提议者模型，利用执行反馈来修改求解器的运行框架。我们将这一过程形式化为对可执行程序的元学习，其中运行框架的修改扮演了基于梯度的自适应中权重更新的角色。我们使用强化学习训练提议者，以修改后运行框架的任务性能作为奖励。在测试时，提议者利用在新任务上连续执行所获得的反馈来改进运行框架，而不进行任何参数空间更新。在推理和多跳问答上的实验表明，运行框架学习提高了修改质量，并且测试时的自适应能力可以迁移到未见过的任务。在单次修改上训练的策略可以多轮持续改进运行框架，而在修改序列上训练所带来的收益因设置而异。这些发现指向了一条通往持续学习智能体的路径，这类智能体能够将积累的经验转化为可泛化的改进。

主题：	计算与语言（cs.CL）；机器学习（cs.LG）
引用为：	arXiv:2609.35738 [cs.CL]
	（或 arXiv:2609.35738v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2609.35738 arXiv 颁发的 DOI，经由 DataCite（待注册）

提交历史

来自：Yuda Song [查看电子邮件]
[v1] 2026年9月28日星期一 17:52:54 UTC（768 KB）