arXiv cs.AI· Shaohuang Wang, Jinghao Wen, Xulei Zhang, Xun Jiao·· 10 小时前AI 评分47
长程 LLM 智能体可靠性研究：基于轨迹的错误溯源与管控分析
Dependable Long-Horizon LLM Agents: A Trajectory-Centered Empirical Study of Where Errors Enter and Which Controls Reach Them
AI 导读
一项针对 Who&When 和 MAD 语料库中六个多智能体系统 95 次失败运行的轨迹分析发现，故障进入时间中位数为运行进程的 0.18，多表现为错误决策或对任务状态的捏造，且 88 次 Who&When 运行中有 37 次发生在人工标注的关键步骤之前。
正文 · AI 翻译
摘要：当 LLM 智能体在长任务中途失败时，通常的分析只记录一个症状：失败模式标签，或判定应负责的智能体与步骤。它不会说明错误从何处进入、哪个状态将其带到症状、轨迹中是否有任何内容与之矛盾，或哪种控制本可以捕获它。我们定义了一种情节记录，将候选故障与其起源、传播、检测、响应和后果联系起来，按运行阶段和状态域定位，并列出其观测和覆盖范围涵盖该故障的控制族。我们将该记录转化为书面标注协议，并应用于来自公开 Who&When 和 MAD 语料库的六个多智能体系统的 95 次失败运行，完整阅读每条轨迹。故障很早就进入（中位数为运行的 0.18 处），主要是关于任务状态的错误决策或捏造，并且在 88 次 Who&When 运行中有 37 次发生在语料库人工标签标记为决定性的步骤之前。在 72% 的失败运行中，轨迹在失败之前就已经包含反对该错误的证据；在其中 88% 的运行中，没有智能体据此采取行动。31% 的运行中有东西标记了偏差，但没有响应移除偏离状态。独立评判者阅读未使用的证据、在准入时固定的任务契约，以及对照环境重新检查信念，能覆盖大多数情节；在 95 次运行中有 35 次，恢复智能体自身状态本已足够。对原始语料库的文本扫描还显示，45% 的手工构造的 Who&When 失败以提供商内容过滤器崩溃告终，之后测试框架发出了没有智能体产生的最终答案，这是症状分类法和负责智能体标签都无法表示的失败类别。协议、记录和脚本已包含在内。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13254 [cs.AI] |
| （或 arXiv:2611.13254v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13254 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shaohuang Wang [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 21:25:08 UTC（235 KB）
来源：arXiv cs.AI · arxiv.org