arXiv cs.AI· Yile Gu, Zhen Zhang, Shaowei Zhu, Xinwei Fu, Jun Wu, Yida Wang, Baris Kasikci·· 10 小时前AI 评分34
Ekka：自动诊断 LLM 推理中的静默错误
Ekka: Automated Diagnosis of Silent Errors in LLM Inference
AI 导读
Ekka 是一个自动诊断 LLM 推理静默错误的系统，通过将目标框架与语义正确的参考框架的中间执行状态对齐比较来定位根因，在真实静默错误基准上达到 80% pass@1 和 88% pass@5 诊断准确率，优于现有系统。它还在服务框架中新诊断出 4 个静默错误，均已获开发者确认。该工作入选 ICML 2026 并已开源。
正文 · AI 翻译
摘要：LLM 服务框架正随着复杂的软件栈和大量优化而快速演进。快速的开发过程可能引入静默错误，即输出质量在没有任何显式错误信号的情况下悄然下降。由于高层症状与底层根因之间存在巨大的语义鸿沟，诊断静默错误以极其困难著称。我们观察到，通过利用语义正确的参考实现的存在，可以将静默错误的诊断有效地构建为一个差分调试问题。我们提出 Ekka，一个自动化诊断系统，它通过系统地对齐和比较目标框架与参考框架之间的中间执行状态来识别根因。我们基于主流服务框架中的真实静默错误构建了一个基准，Ekka 在该基准上展现出 80% 的 pass@1 诊断准确率和 88% 的 pass@5 诊断准确率，优于最先进的系统。Ekka 还从服务框架中诊断出 4 个新的静默错误，均已得到开发者确认。
| 评论： | ICML 2026，开源地址见 此 https URL |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；软件工程（cs.SE） |
| ACM 分类： | D.4.5; I.2.1 |
| 引用为： | arXiv:2606.04594 [cs.DC] |
| （或 arXiv:2606.04594v2 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.04594 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Yile Gu [查看邮箱]
[v1]
2026年6月3日 星期三 08:32:13 UTC（1,140 KB）
[v2]
2026年11月3日 星期二 23:54:41 UTC（1,140 KB）
来源：arXiv cs.AI · arxiv.org