arXiv cs.MA· Xinwen Liu, Zhuocheng Pan, Isabella Zhu, Jawei Zhang, Xudong Liu, Tianyu Wo·· 10 天前AI 评分29
通信拓扑如何诊断多智能体 LLM 故障:MAScope 两阶段框架
Know the Shape, Find the Fault: Topology-Conditioned Diagnosis of Multi-Agent LLM Failures
AI 导读
研究者提出 MAScope 两阶段框架,从无拓扑标签的执行轨迹中恢复通信拓扑并据此诊断多智能体 LLM 的协调故障。在 851 条 MAST-clean 轨迹上,真实拓扑上下文将 gpt-mini 的 Macro-F1 从 0.173 提升至 0.350,预测拓扑达 0.346,接近仅用轨迹的 gpt-5.4 基线 0.372。
正文 · AI 翻译
摘要:多智能体 LLM 系统通过智能体之间的信息交换来协调任务执行。当协调出现问题时,执行轨迹中相似的征兆可能反映出信息传递、使用或验证方式上的不同问题。通信拓扑刻画了智能体如何交换信息,并为区分协调失败模式提供了结构性线索。利用这些线索进行诊断,需要建立拓扑与失败模式之间的关系,并从缺乏显式拓扑标签的执行轨迹中恢复相关结构。我们分析了通信拓扑与失败模式之间的关系,并提出了 MAScope,一个用于拓扑条件化诊断的两阶段框架。其轨迹结构提取器 TSE 通过将交互图建立在消息证据之上,从异构执行轨迹中恢复通信拓扑。随后,拓扑条件化评判器 TC-Judge 利用轨迹、预测拓扑、从单独标注轨迹中估计出的经验失败先验,以及拓扑特定失败模式的简短描述来对失败进行分类。在固定编排结构下,恢复出的拓扑可在多次执行中复用。实验结果表明,通信拓扑与失败类型之间存在统计上显著的关联,$\chi^2 = 409.9$,$p = 1.2 \times 10^{-70}$。在 \num{851} 条 MAST-clean 轨迹上,真实拓扑上下文将 gpt-mini 的 Macro-F1 从 $0.173$ 提升至 $0.350$。使用预测拓扑时,该流程达到 $0.346$,接近仅使用轨迹的 gpt-5.4 基线 $0.372$。对于固定编排结构下的 \num{1000} 条轨迹,预计流程成本(包括一次拓扑提取)约为重复进行 gpt-5.4 诊断成本的 $6\%$。这些结果表明,拓扑条件化上下文可改善失败诊断,并支持更低成本的部署。
| 主题: | 多智能体系统(cs.MA);人工智能(cs.AI) |
| 引用为: | arXiv:2610.10126 [cs.MA] |
| (或使用 arXiv:2610.10126v1 [cs.MA] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2610.10126 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Zhuocheng Pan [查看邮箱]
[v1]
2026年10月7日星期三 14:07:48 UTC(1,968 KB)
来源:arXiv cs.MA · arxiv.org