当仿真失真：面向工具调用智能体的 Sim-to-Real 基准与域随机化 RL 方案

作者：Xiaolin Zhou、Aojie Yuan、Zheng Luo、Zipeng Ling、Xixiao Pan、Yicheng Gao、Haiyue Zhang、Jiate Li、Shuli Jiang、Prince Zizhuang Wang、Zixuan Zhu、Jinbo Liu、Ryan A. Rossi、Hua Wei、Xiyang Hu

查看 PDF HTML（实验性）

摘要：工具使用语言智能体通常在假设输入干净、工具注册表无歧义且 API 可靠的基准上进行评估。而实际部署会打破所有这些假设：用户拼写错误会传播为幻觉出的工具名称，配置错误的请求超时可能使智能体无限期停滞，跨服务器的重复工具名称可能使 SDK 冻结。我们将这些失败视为工具使用部分可观测马尔可夫决策过程（POMDP）中的仿真到现实差距，其中部署噪声通过观测、动作空间、奖励相关元数据或转移动态进入。我们提出了 RobustBench-TC，这是一个包含 22 种扰动类型的基准，按这四个 POMDP 组件组织，每种扰动都基于一个经过验证的 GitHub issue 或有记录的工具调用失败。在从 1.5B 到 32B 参数（包括闭源 o4-mini）的 21 个模型中，鲁棒性表现极不均衡：观测扰动使准确率下降不到 5%，而奖励相关扰动和转移扰动分别使准确率下降约 40% 和 30%；仅靠规模无法弥合这些差距。随后我们提出了 ToolRL-DR，一种领域随机化强化学习（RL）方案，在涵盖三个可静态编码的 POMDP 组件的扰动增强轨迹上训练工具使用智能体。在 3B 骨干模型上，ToolRL-DR-Full 保留了约四分之三的干净准确率，并达到与开源 14B 函数调用基线相当的总体扰动准确率，同时大幅缩小了与 o4-mini 的差距。尽管在训练中从未见过转移扰动，它仍弥合了约 27% 的转移差距，这表明在对抗性静态工具使用输入上进行 RL 会诱导出一种更持久的重试策略，并能迁移到未见过的运行时故障。数据集、代码和基准排行榜均已公开。

评论：	已被 NeurIPS 2026（评估与数据集方向）接收。添加了致谢。数据集、代码和基准排行榜可在此 https URL 和此 https URL 获取
主题：	人工智能（cs.AI）
引用为：	arXiv:2605.11928 [cs.AI]
	（或 arXiv:2605.11928v2 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2605.11928 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Xiaolin Zhou [查看电子邮件]
[v1] 2026年5月12日星期二 10:40:28 UTC（2,294 KB）
[v2] 2026年10月9日星期五 10:01:49 UTC（1,427 KB）