斯坦福与Google DeepMind用AlphaEvolve进化工具调用基准

Rohan Paul· @rohanpaul_ai · X·2026-11-09 07:36· 57 分钟前AI 评分46

AI 导读

斯坦福与Google DeepMind提出TURTLE方法，用AlphaEvolve对AppWorld等静态工具调用基准的现有任务做变异，加入过滤条件、额外步骤和隐藏查询，把过易的基准改造成仍可解但更难的测试。

正文 · 原文

斯坦福与 Google DeepMind 的新论文表明，可以通过针对模型演化现有任务，把过于简单的工具使用基准转化为困难但仍可解的测试。

像 AppWorld 这样的工具使用基准是静态的，因此模型很快就能解决大多数任务，而构建新任务需要人工投入。

TURTLE 使用 AlphaEvolve 对现有任务进行变异，加入过滤条件、额外步骤和隐藏查询，然后对每个任务运行求解模型 10 次。当求解模型成功率约为 50% 时任务得分最高，且每个任务必须至少被解决一次。

69% 的原始 AppWorld 任务总能被 Gemma 4 31B-it 解决，而 735 个演化任务中几乎全部处于 40% 到 60% 的完成率。LLM 评判员将 52.5% 的演化任务评为困难，而原始任务中这一比例为 19.8%。

如果你的模型轻松通过某个基准，就将其任务演化到约 50% 的成功率，而不是从头编写新基准。

来源：Rohan Paul · x.com