arXiv cs.CL· Arkajyoti Chakraborty, Aryan Tayal, Ishika Agarwal, Tanner Sorensen, Justin Chiu, Alessandro Di Bari, Neha Gupta, Andreas Stolcke·· 10 天前AI 评分24
ToolRACER：面向智能体训练与评估的鲁棒对话仿真资源
ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation
AI 导读
ToolRACER 是一个合成数据生成流程，通过协调用户、助手与工具仿真模型生成并验证多轮交互，构建了覆盖六个领域、55 种人物设定、5.6K 条对话轨迹的 ToolRACERBench，其中约 66% 对话包含易失败场景。
正文 · AI 翻译
摘要：面向任务的对话代理在真实世界对话场景中仍然很脆弱，因为它们很少遵循可预测的脚本，尤其是当用户表现出不合作行为时。现有的函数调用基准往往强调成功、合作的交互，而对对抗性对话轨迹的代表不足，从而限制了可用于开发鲁棒代理的训练资源。我们提出了 ToolRACER，一个合成数据生成流水线，它协调用户、助手和工具仿真模型，以生成并验证用户与代理之间的多轮交互。使用 \sysn，我们构建了 ToolRACERBench，一个涵盖六个领域、覆盖 55 种不同人物角色的鲁棒多轮对话基准，生成了经过验证的 5.6K 条对话轨迹语料库，其中约 66\% 的对话包含易失败对话场景。我们注入对抗性行为，生成经过验证的对话交互轨迹，以捕捉真实、鲁棒的场景。我们在内部基准上评估了在 ToolRACERBench 上训练的模型，并在诸如 $\tau^2$-bench、BFCLv3 和 ACEBench 等函数调用基准上进行评估，以衡量代理准确性和鲁棒性。在 ToolRACERBench 上训练的模型提高了在 $\tau^2$-bench 和 ACEBench 上的端到端代理准确性，表明在小型语言模型中与领域内数据集混合时，对于代理能力任务有显著提升。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.09163 [cs.CL] |
| （或 arXiv:2610.09163v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09163 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Arkajyoti Chakraborty [查看电子邮件]
[v1]
2026年10月6日星期二 22:06:17 UTC（1,424 KB）
来源：arXiv cs.CL · arxiv.org