arXiv cs.AI· Devansh Singh, Shreya Gopalan, Sundaraparipurnan Narayanan·· 3 天前AI 评分32
Agent-Tool 交互中的静默失败：ToolUniverse 工具链审计
Silent Failures in Agent-Tool Interaction: An Audit of ToolUniverse
AI 导读
研究团队开发审计机制，在 ToolUniverse 环境中检查 15 个科学工具及其 API 与 wrapper 文档，发现 91 个经人工验证的静默失败——工具调用看似成功，但信息或功能缺失且不通知用户或智能体。
正文 · AI 翻译
摘要：代理式 AI 系统越来越多地采用集成多种工具的自动化流水线。尽管此前研究已考察了此类代理式系统的任务成功与任务完成情况，但关于代理与工具之间通过包装器和 API 进行交互链的研究，尤其是在生物代理工作流中，仍然有限。本研究调查了代理与工具交互中的特定故障，即工具调用看似成功，但通过其 API / 包装器从工具获取的部分或全部信息或功能不完整或缺失，且没有就缺失信息向用户或代理发出任何通知。我们将这些称为“静默故障”，因为用户或代理并未意识到此类故障已经发生。为本研究之目的，我们开发了一种审计机制，通过检查集成在 ToolUniverse 环境中的 15 种科学工具（及其相关 API 文档和工具文档）来识别代理与工具交互链中的此类静默故障（ToolUniverse 作为我们的实验环境，而非研究本身的对象）。我们围绕 7 个故障位点来组织研究，刻画故障在链中发生的位置。我们观察到 91 个故障（在基于 LLM 的候选发现和自动化测试后经人工验证），其中最常见的是数据或字段缺失，以及搜索、过滤或排序标准不一致。这 91 个故障大多发生在 API 层（52 个）或包装器层（25 个），并有可能在下游造成静默故障放大。结果表明，静默故障起源于事件上游，并向下游传播，进入看似有效的科学输出。我们提出上下文可靠性这一概念来处理此类故障，并建议了在代理—工具交互流水线中测试、披露、监测和度量此类故障的机制。
| 评论： | 已被 NeurIPS 2026 的 GenAI4Health 和 AgenticLS 研讨会接收 |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2609.26836 [cs.AI] |
| （或使用 arXiv:2609.26836v2 [cs.AI] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2609.26836 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Devansh Singh [查看电子邮件]
[v1]
2026年9月21日星期一 16:34:08 UTC（574 KB）
[v2]
2026年10月12日星期一 15:34:50 UTC（574 KB）
来源：arXiv cs.AI · arxiv.org