arXiv cs.AI· Ramesh Arvind Naagarajan, Stefan Streif·· 3 天前AI 评分38
结构基线对智能体失败检测与归因的影响
Structural Baselines Matter for Agent Failure Detection and Attribution
AI 导读
使用工具的 LLM 智能体可能静默失败：任务未完成却不报错，还能流畅作答。研究发现，失败运行更长、被标注为决定性的步骤通常就是最后一步，一条"永远选最后一步"的规则在此处正确率达 67% 至 96%，无需读取运行内容；但在回放可确认决定性步骤的失败上，该规则降至接近随机。
正文 · AI 翻译
摘要：使用工具的 LLM 智能体可能会静默失败。它在任务完成前就停止，不报错，却能流畅作答。有两类监控器可应对此问题：一类判断某次运行是否失败，另一类指出失败变得不可避免的那一步。这两项任务上报告的许多性能都来自无需模型的规律性。失败的运行更长，而被标记为决定性的步骤通常是最后一步。一条总是将最后一步标为决定性的规则，在此处无需读取运行内容即可达到 $67\%$ 至 $96\%$ 的正确率。这一上限反映的是标签的写法，而非智能体出错的方式。对于决定性步骤可通过回放确认的失败，该规则的正确率降至接近随机。因此，报告相对于该规则的增益会改变分数的含义。经此校正后，此处测试的方法在放弃型失败上毫无增益，而若干已发表系统在其他划分上仍保持明显优势。在检测方面，智能体的内部状态在智能体基准上优于对话记录长度和文本相似度，并且在文本基线失效之处依然有效。当失败罕见时，精确率仍然很低，因此此类监控器应被用于对运行进行排序以供审查，而非取代审查。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16661 [cs.AI] |
| （或本版本的 arXiv:2610.16661v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.16661 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Ramesh Arvind Naagarajan 先生 [查看电子邮件]
[v1]
2026年10月12日星期一 12:13:48 UTC（144 KB）
来源：arXiv cs.AI · arxiv.org