arXiv cs.AI· Lining Hu, Ting Liu, Yuzhuo Fu·· 3 天前AI 评分29
微服务 RCA 基准的汇总排行榜遗漏了什么：对方法比较范围与来源的审计
What a Pooled Leaderboard Does Not Say: Auditing the Scope and Provenance of Method Comparisons in Microservice RCA Benchmarks
AI 导读
一项审计在 OpenRCA、RCAEval 和 PetShop 三个基准家族上复现 16 种方法的官方实现，发现汇总排行榜的领先结论取决于其未公布的子系统间差距：15 个领先幅度超过该差距的比较中 14 个在所有子系统成立，8 个低于该差距的比较中 6 个发生反转。
正文 · AI 翻译
摘要：微服务根因分析（RCA）的离线基准通过汇总多个应用的分数对方法进行排名，而汇总后的领先会留下两点未说明：它是在哪些系统上成立，以及该分数是如何产生的。我们在三个公开基准系列（OpenRCA、RCAEval 和 PetShop）上对这两点进行审计，在 11 个子系统上以及其中三个应用的第二个版本上，以记录的配置运行 16 种方法的已发布实现。已发表方法之间的汇总领先是否在每个子系统上都成立，取决于排行榜未披露的一个量，即领先幅度在子系统间的离散程度：在 15 个领先幅度超过该离散程度的领先中，有 14 个处处成立；在 8 个领先幅度低于该离散程度的领先中，有 6 个发生反转。基准论文发布的按故障和按场景表格也以同样方式分化，而缺少任一子系统计算出的排名，其每个错误都落在第二类领先上。在第二个版本上，三分之一的比较改变了符号，其中大多数源于某一方法对其所记录的指标类型的响应，并且在若干子系统上，一个简单的探针或随附的基线击败了所有已发表方法。分数是如何产生的同样重要：某个已发布运行器读取的输入表并非其文档所描述的那张表，仅这一选择就反转了已发表方法之间的比较，且两个方向的区间均不包含零；一个未固定版本的依赖项和一个重复的列标题，各自都会使某一方法在无错误的情况下返回其输入列顺序。在我们考察的 23 篇 RCA 论文中，没有一篇发布检查上述任一前提所需的逐案例输出。我们建议，汇总比较应说明其覆盖的子系统及其在子系统间的离散程度、输入表、失败输出的处理方式以及分母，并附上逐案例输出，正如我们的复现包中所做的那样。
| 评论： | 21 页，5 幅图，5 张表 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.29159 [cs.AI] |
| （或 arXiv:2606.29159v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.29159 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Lining Hu [查看电子邮件]
[v1]
2026 年 6 月 28 日周日 02:47:31 UTC（123 KB）
[v2]
2026 年 10 月 13 日周二 11:12:49 UTC（221 KB）
来源：arXiv cs.AI · arxiv.org