arXiv cs.CL· Yueshen Li, Kamer Ali Yuksel, Gokhan Tur, Dilek Hakkani-T\"ur, Jo\~ao Pedro Maia·· 12 小时前AI 评分35
VeriEvolve：面向工具使用智能体的评估器优先进化框架
VeriEvolve: Evaluator-First Evolution for Tool-Using Agents
AI 导读
VeriEvolve 提出评估器优先的进化框架，先为任务合成可执行评估器再优化智能体。在 30 个 MCPMark Filesystem 任务上构建 30 个评估器与 141 个挑战状态，生成套件一致率达 141/141，留出状态为 113/122。评估器引导的进化将 GLM-5.2 的外部验证成功率从 6/30 提升至 18/30，Claude 从 27/30 提升至 30/30。
正文 · AI 翻译
摘要：自我改进智能体的一个核心障碍是，对于现实中的有状态任务，缺乏可靠的适应度信号。我们提出 \textsc{VeriEvolve}，这是一个评估器优先的进化框架，它在优化智能体之前先构建这一缺失的评估层。VeriEvolve 根据任务指令，合成以指令为依据的挑战状态，以及一个可执行、用于检查这些状态的评估器。在每一轮工作流进化中，评估器保持冻结，并作为适应度信号。在轮次之间，VeriEvolve 通过将强运行和弱运行的最终状态转换为一对反事实测试用例来修订评估器。
在全部 30 个 MCPMark Filesystem 任务中，VeriEvolve 构建了 30 个评估器和 141 个挑战状态，在生成的套件上达到 141/141 的一致率，在执行器智能体产生的留出状态上达到 113/122 的一致率。评估器引导的进化使 GLM-5.2 的外部验证成功率从 6/30 提升到 18/30，使 Claude 从 27/30 提升到 30/30；精炼过程消除了弱执行器暴露出的全部三个假阳性。在 PostgreSQL、Playwright、Notion 和 GitHub 上的跨环境研究进一步揭示了来自可观测性、状态表示以及搜索/执行能力的互补性限制。这些结果表明，当任务成功可观测且存在外部验证器用于校准时，可执行评估器可以被合成并用于引导搜索。
| 评论： | 24 页，3 幅图。已被 EMNLP 2026 的 REALM Workshop 接收（非存档） |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29005 [cs.SE] |
| （或 arXiv:2610.29005v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29005 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yueshen Li [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 00:13:29 UTC（241 KB）
来源：arXiv cs.CL · arxiv.org