arXiv cs.AI· Boyuan Cui, Yuyang Zeng, Yifang Tian, Hans-Arno Jacobsen·· 3 天前AI 评分31
当日志解析丢掉关键信息：GF-Bench 如何检测分布式 GPU 工作负载故障
When Log Parsing Removes What Matters: Detecting Failures in Distributed GPU Workloads
AI 导读
研究者提出 GF-Bench，一个基于 PyTorch 的框架与数据集，用于在分布式 GPU 工作负载中生成故障，当前版本包含 220 条带标注的双 GPU 执行记录，覆盖正常运行、CUDA 显存不足 fail-stop 故障和持续性拖尾 fail-slow 故障。
正文 · AI 翻译
摘要：大型 AI 模型日益依赖分布式 GPU 执行，但既有的故障分析方法能否有效迁移到这一场景仍不明确。我们提出 GF-Bench，一个基于 PyTorch 的框架与数据集，用于在分布式 GPU 工作负载中生成多样化的故障。该框架支持可扩展的工作负载与故障注入逻辑；基于这一设计，当前版本针对多 GPU 通信日志中可见的故障，提供了 220 次带标注的双 GPU 执行，涵盖正常运行、CUDA 内存不足的 fail-stop 故障以及持续拖后腿的 fail-slow 故障。利用 GF-Bench，我们在解析后的日志上评估了三种基于序列的方法（DeepLog、LogAnomaly 和 LogBERT）以及基于 LLM 的 LogPrompt，并额外在原始日志上评估了 LogPrompt。在解析后的输入上，没有方法能可靠地检测出两类故障，最高总体 F1 分数为 0.667。原始输入将上下文学习式 LogPrompt 的总体 F1 分数提升至 0.983，但其平均输入 token 用量为 9.0 倍，每次运行成本为 8.7 倍。这些结果揭示了有效性与效率之间的显著权衡：通用日志解析降低了运营成本，但丢弃了准确检测故障所需的分布式执行上下文。GF-Bench 为研究高性价比的分析方法提供了可复现的基础，并可扩展到更多 GPU 工作负载和故障类型。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.14009 [cs.LG] |
| （或使用 arXiv:2610.14009v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.14009 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.1145/3820756.3844919
链接到相关资源的 DOI |
提交历史
来自：Boyuan Cui [查看邮箱]
[v1]
2026年9月29日星期二 01:15:10 UTC（77 KB）
来源：arXiv cs.AI · arxiv.org