arXiv cs.AI· Wenshuo Zhang, Yuquan Lin, Yushi Sun, Yishi Lin, Rui Sheng, Peng He, Han Gao, Wang Jikai, Yifeng Rong·· 11 小时前AI 评分38
RITE：评估电商智能体系统对静默工具错误的端到端韧性
RITE: Evaluating End-to-End Resilience to Silent Tool Errors in E-Commerce Agentic Systems
AI 导读
研究者提出 RITE 基准，用于评估工具调用型 LLM 智能体在静默工具错误污染中间状态后能否完成原始查询。该基准基于人工编写的工业工作流和生产日志输入，覆盖 9 个电商工作流、167 个匹配单元，共 501 个静默错误、正确值与显式失败实例。在 10 个近期 LLM 上，静默错误使任务成功率大致减半，且始终比显式失败更难，识别错误、使用可用验证路径与整合证据构成连续瓶颈。
正文 · AI 翻译
摘要：使用工具的 LLM 智能体越来越多地通过多步工具交互来回答电商查询。工具调用的预期输出可能在智能体开发与执行之间发生偏移，从而返回一个看似合理但实际错误的值，且不会给出显式的失败信号。这些静默错误可能通过后续决策传播到最终答案中。为了研究智能体在这一端到端过程中的韧性，我们提出了静默错误韧性任务（Silent-error Resilience Task），这是一个交互式任务，用于评估智能体在静默错误破坏中间状态后能否完成原始查询。我们推出了 RITE，一个基于人工编写的工业工作流和源自生产日志的输入构建的基准。为了实现可控且可复现的评估，我们使用语义错误分类法将错误注入固定的工作流前缀，冻结记录的工具行为，并让智能体自由继续。它包含九个电商工作流中的 167 个匹配单元，产生了 501 个静默错误、正确值和显式失败实例。在 10 个近期 LLM 上，静默错误大约使任务成功率减半，并且始终比显式失败更难处理。识别、使用可用的验证路径以及整合由此产生的证据构成了连续的瓶颈。我们还提出了一种轻量级状态检查器（State Checker）作为干预手段，以测试韧性是否可以得到改善。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27777 [cs.AI] |
| （或 arXiv:2610.27777v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27777 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenshuo Zhang [查看电子邮件]
[v1]
2026年10月20日星期二 07:42:11 UTC（1,292 KB）
来源：arXiv cs.AI · arxiv.org