arXiv cs.AI· Samuel Yeh, Yiwen Zhu, Shaleen Deep, Sharon Li·· 3 天前AI 评分30
OAT：仅用成功轨迹的无监督 LLM 智能体失败归因方法
Tracing Agentic Failure from the Flow of Success
AI 导读
研究者提出 OAT，将 LLM 智能体失败归因建模为基于神经受控微分方程的单类学习，仅用 100 条成功轨迹训练，在推理时按每步偏离成功动态的程度打分定位错误步骤。该方法比基于提示词的基线快 200–5000 倍，在域内和分布外数据集上 F1 分别高出 +20% 和 +7%，且无需失败轨迹的步级标注。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：针对基于 LLM 的智能体系统进行失败归因，即识别失败轨迹中哪些步骤导致任务失败，对于调试和改进这些系统至关重要。现有方法要么依赖基于提示的流水线，计算成本高昂，要么需要在带有步骤级错误标注的失败轨迹上进行后训练，而这类标注收集成本高且难以扩展。我们认为，一个实用的失败归因模型应当轻量，并且无需在失败数据上进行步骤级监督即可训练。为此，我们研究无监督失败归因，即仅在成功轨迹上训练，并在推理时给定失败轨迹的情况下识别错误步骤。我们提出 OAT，将该问题转化为使用神经受控微分方程的单类学习，在潜在空间中建模成功轨迹的动态模式。在推理时，失败轨迹中的每个步骤根据其与在成功轨迹上学到的动态的偏离程度被赋予异常分数，随后用于形成一组错误步骤。实验表明，仅用 100 条成功轨迹进行训练，OAT 比基于提示的基线快 200--5000 $\times$，同时在域内和分布外数据集上分别以 +20% 和 +7% 的 F1 分数持续优于它们，表明 OAT 是诊断智能体系统失败的一个有前景且高效的方向。
| Comments: | 被 NeurIPS 2026 接收 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2607.12747 [cs.AI] |
| （或 arXiv:2607.12747v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.12747 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Samuel Yeh [查看邮箱]
[v1]
2026年7月14日星期二 13:16:14 UTC（2,103 KB）
[v2]
2026年10月10日星期六 15:34:32 UTC（2,270 KB）
来源：arXiv cs.AI · arxiv.org