arXiv cs.AI· Jiale Liu, Huajun Xi, Shaokun Zhang, Yifan Zeng, Tianwei Yue, Chi Wang, Jian Kang, Qingyun Wu, Huazheng Wang·· 6 天前AI 评分22
Who&When Pro：LLM 真能定位 AI 智能体的失败吗？
Who&When Pro: Can LLMs Really Attribute Failures in AI Agents?
AI 导读
研究者推出 Who&When Pro，一个面向 AI 智能体自动失败归因的大规模 benchmark，通过严格受控流程在完整回放成功前缀后才注入失败，构建了覆盖 3 种模态、26 个 benchmark 的 12,326 条带金标签失败轨迹。论文还开展大量实验，揭示模型在不同模态、协议和模型族间归因失败的系统性模式，为后续自动失败归因系统提供实证指导。
正文 · AI 翻译
摘要：自动化故障归因利用 LLM 来识别智能体系统在何处以及为何失败。随着智能体能力不断增强，其失败变得更加隐蔽，使得自动化归因愈发重要。我们提出 Who&When Pro，一个用于智能体系统自动化故障归因的大规模基准。通过严格控制的流水线，在精确重放成功前缀后才注入一次故障，我们构建了 12,326 条带有黄金标签的失败轨迹，涵盖 3 种模态和 26 个基准，覆盖多种场景。除基准测试外，我们进行了大量实验与分析，揭示了模型在不同模态、协议和模型家族间归因失败的系统性模式，并为未来的自动化故障归因系统提供了实证指导。
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2607.09996 [cs.AI] |
| （或使用 arXiv:2607.09996v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.09996 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Jiale Liu [查看邮箱]
[v1]
2026年7月10日星期五 21:45:16 UTC（2,480 KB）
[v2]
2026年10月9日星期五 04:04:24 UTC（2,462 KB）
来源：arXiv cs.AI · arxiv.org