arXiv cs.AI· Xingyu Yan, Tingting Dai, Antonio De Domenico, Mohamed Sana, Nicola Piovesan, Changchang Li, Bowen Liu, Kun Jiang, Mengjie Zhang, Dingcheng Shan, Jing-Cheng Pang, Chenwei Wu, Sijie Wu, Lianying Chao, Haoran Cai, Jiantao Ye, Xubin Li, Simon Mark Lucas, Xin Chen·· 12 小时前AI 评分31
CTBench：评估 AI 智能体在真实电信网络运维中的故障排查能力
CTBench: Evaluating Troubleshooting Capabilities of AI Agents in Realistic Telecom Network Operations
AI 导读
研究团队推出公开基准 CTBench，用于评估 AI 智能体在电信网络根因分析（RCA）与路径恢复中的故障排查能力，由领域专家构建并配有丰富元数据和黄金证据轨迹。对 SOTA 智能体的评测显示，它们在路径端点识别上表现优异，但在 RCA 上严重不足，即使给出正确答案也常未收集运维实践所需的诊断证据。增加计算开销并不能保证诊断能力提升。
正文 · AI 翻译
作者：Xingyu Yan、Tingting Dai、Antonio De Domenico、Mohamed Sana、Nicola Piovesan、Changchang Li、Bowen Liu、Kun Jiang、Mengjie Zhang、Dingcheng Shan、Jing-Cheng Pang、Chenwei Wu、Sijie Wu、Lianying Chao、Haoran Cai、Jiantao Ye、Xubin Li、Simon Mark Lucas、Xin Chen
摘要：尽管自主智能体在网络运维方面展现出前景，但现有的电信故障排查评估未能反映真实电信环境的部分可观测性与异构性。我们推出 CTBench，这是一个公开基准，用于评估智能体在根因分析（RCA）和路径恢复方面的故障排查能力。CTBench 由领域专家构建，具有丰富的元数据和黄金证据轨迹，并采用同时评估最终准确率和诊断推理的指标。我们对最先进智能体的评估表明，尽管它们在路径端点识别方面表现出色，但在 RCA 方面表现严重不足。关键在于，即使智能体给出正确答案，它们也常常未能收集运维实践中所需的诊断证据。最后，我们证明增加计算开销并不能保证提升诊断能力，这凸显了当前智能体能力中的关键差距。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.12002 [cs.AI] |
| （或针对此版本的 arXiv:2608.12002v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2608.12002 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohamed Sana [查看电子邮件]
[v1]
2026年8月12日星期三 12:37:02 UTC（503 KB）
[v2]
2026年10月21日星期三 08:54:58 UTC（434 KB）
来源：arXiv cs.AI · arxiv.org