arXiv cs.CL· Hezhe Qiao, Hanghang Tong, Ee-Peng Lim, Bing Liu, Guansong Pang·· 14 小时前AI 评分35
VerifyMAS:面向 LLM 多智能体系统故障归因的假设验证框架
VerifyMAS: Hypothesis Verification for Failure Attribution in LLM-based Multi-Agent Systems
AI 导读
VerifyMAS 提出一种假设验证框架,用于 LLM 多智能体系统的故障归因,不再直接预测出错智能体与错误类型,而是基于完整交互轨迹构建并验证故障假设,将归因拆解为轨迹级错误验证与细粒度智能体定位。
正文 · AI 翻译
摘要:大语言模型驱动的多智能体系统(LLM-MAS)擅长处理复杂任务,但不可靠的智能体仍是系统级可靠性的关键瓶颈。因此,自动故障归因至关重要,但现有方法(如直接预测智能体-错误对、智能体优先的故障归因)依赖智能体的局部日志,会遗漏仅在完整交互轨迹中才显现的全局故障,例如跨步骤不一致和智能体间协调错误。此外,直接预测故障会带来巨大的组合搜索空间,阻碍细粒度归因。为应对这些挑战,我们提出 VerifyMAS,一个用于智能体故障归因的假设验证框架。VerifyMAS 不直接预测故障智能体和错误类型,而是针对完整轨迹构建并验证故障假设。这种基于验证的方法将归因分解为轨迹级错误验证和细粒度智能体定位,提供了一种错误优先的归因方法,既能捕捉全局故障模式,又能大幅缩减搜索空间。我们进一步引入基于假设的数据构建策略,该策略以结构化错误分类体系为基础,并微调了一个专用的 LLM 验证器模型,用于轨迹级故障验证和智能体归因。在 Aegis-Bench 和 Who&When 上的实验表明,VerifyMAS 能持续提升多种骨干模型(包括开源 Qwen 和基于 API 的 GPT 模型)的表现,优于先前方法,且不牺牲长多智能体轨迹的推理效率。
| 评论: | 被 NeurIPS2026 接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.17467 [cs.CL] |
| (或 arXiv:2605.17467v2 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2605.17467 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Hezhe Qiao [查看邮箱]
[v1]
2026年5月17日星期日 14:09:35 UTC(1,988 KB)
[v2]
2026年10月25日星期日 11:53:56 UTC(2,015 KB)
来源:arXiv cs.CL · arxiv.org