Apple 论文：工具使用智能体的泛化更依赖应用与数据库多样性，而非任务数量

Rohan Paul· @rohanpaul_ai · X·2026-10-29 12:11· 33 分钟前AI 评分52

AI 导读

Apple 论文研究合成训练数据配比对 LLM 工具使用智能体泛化的影响，发现随数据预算增长，扩展应用和数据库多样性比增加任务数带来更大收益。团队构建 SynthAPI 流水线，用 LLM 编写带真实 Python 工具和数据库的合成应用并自动检查任务成败，跨 849 个训练模型改变应用、任务和数据库版本。

正文 · 原文

Apple 新论文发现，随着训练数据增长，工具使用智能体从多样化的应用和数据库状态中获得的收益，比从更多任务中获得的收益更大。

合成训练数据的配比，而不仅仅是其规模，决定了工具使用智能体向新基准泛化的效果。

团队在合成环境中训练工具使用智能体，而大多数流水线专注于生成更多任务。此前尚不清楚新工具、新任务还是新起始数据最为重要。

他们构建了 SynthAPI，由 LLM 编写带有真实 Python 工具和数据库的合成应用，然后编写带自动成功检查的任务。他们在 849 个训练模型中改变应用、任务和数据库版本。

在固定的 32,768 任务预算下，更多应用和数据库版本将 4B 模型在 AppWorld 挑战集上的表现从 38.4% 提升至 45.0%。他们跟踪数据配比的缩放定律以 0.0285 的误差预测了更大规模的留出运行，而仅基于任务数量的定律误差为 0.1706。

来源：Rohan Paul · x.com