斯坦福与DeepMind用AlphaEvolve进化工具调用基准

斯坦福与Google DeepMind提出TURTLE方法，用AlphaEvolve对AppWorld等静态工具调用基准的现有任务做变异，加入过滤条件、额外步骤和隐藏查询，改造成仍可解但更难的测试。 据该研究，Gemma 4 31B-it原本能稳定解出69%的AppWorld任务，而在进化出的735个任务中，近全部任务的完成率落在40%至60%区间；LLM评审将52.5%的进化任务评为困难，原任务仅19.8%。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。