arXiv cs.CL· Yuxuan Lu, Ziyi Wang, Yingzhou Lu, Yisi Sang, Jiri Gesi, Xianfeng Tang, Yimeng Zhang, Zhenwei Dai, Hui Liu, Hanqing Lu, Chen Luo, Qi He, Benoit Dumoulin, Jing Huang, Dakuo Wang·· 14 小时前AI 评分55
Firefly：从真实 API 生成大规模可验证工具调用数据
Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs
AI 导读
Firefly 提出一种从真实 MCP 服务器生成可验证工具调用数据的流程，先让强 LLM 沿工具图 DAG 探索真实 API，再从观测结果反向合成任务，以保证标签正确。
正文 · AI 翻译
作者：Yuxuan Lu、Ziyi Wang、Yingzhou Lu、Yisi Sang、Jiri Gesi、Xianfeng Tang、Yimeng Zhang、Zhenwei Dai、Hui Liu、Hanqing Lu、Chen Luo、Qi He、Benoit Dumoulin、Jing Huang、Dakuo Wang
摘要：训练工具调用智能体需要带有可验证标签的大规模轨迹数据，但现有方法要么合成的环境与真实 API 行为存在偏差，要么生成的任务缺乏可用于验证的真实结果。我们提出 FireFly，一个从真实世界 MCP 服务器生成经过验证的工具调用数据的流水线。我们的核心思路是反转标准的合成流程：不是先生成任务再期望其可解，而是先让一个强大的 LLM 沿图引导的 DAG 结构探索真实 API，再从观测到的结果反向合成任务，从而在构造上保证标签正确。为应对真实世界工具空间的规模（${\sim}$1,000 个工具），我们构建成对工具图并采样子 DAG，将探索聚焦于语义连贯的工作流。为应对在线 API 的环境漂移，我们构建了一个检索增强模拟器，缓存所有探索结果，并在训练和评估期间重放，从而实现完全离线且可复现的强化学习。应用该流水线得到 5,144 个经过验证的任务，覆盖 240 个服务器和 993 个工具。一个 4B 参数模型在 FireFly 上用 GRPO 训练后，在我们的留出测试集上达到与 Claude Sonnet 4.6 相当的水平，并在 Tau2-Bench、MCPMark 和 MCP-Atlas 等多个工具调用基准上表现出提升。
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.17558 [cs.SE] |
| （或 arXiv:2605.17558v2 [cs.SE] 为本版本） | |
| https://doi.org/10.48550/arXiv.2605.17558 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuxuan Lu [查看邮箱]
[v1]
2026年5月17日 周日 17:38:17 UTC（3,125 KB）
[v2]
2026年10月26日 周一 03:02:53 UTC（3,129 KB）
来源：arXiv cs.CL · arxiv.org