arXiv cs.AI· Andrew Sheinberg, Samyak Gupta, Kai Li·· 11 小时前AI 评分34
基于细粒度监控揭示 GPU 集群的优化空间
Plenty of Room in the Middle: Revealing Opportunities on a GPU Cluster via Fine-Grained Monitoring
AI 导读
一项研究用基于 Nvidia DCGM 的轻量监控工具，在 89 节点、319 块 GPU 的大学集群上以 100 ms 间隔采集数据，分析了 10 天内 150 名用户提交的 7,399 个作业。
正文 · AI 翻译
摘要：GPU 集群已成为学术界和工业界 AI 与科学研究不可或缺的计算资源。然而，其高昂的成本和不断增长的需求往往导致长时间的排队延迟。尽管以往的监测工作以秒级或分钟级的频率运行，但它们主要服务于集群的作业级调度，缺乏优化 GPU 级利用率所需的细节。
本文对一所大学的研究型 GPU 集群进行了深入研究，以 100 毫秒的间隔分析资源使用情况。我们开发了一款轻量级监测工具，利用 Nvidia 的 DCGM 库捕获 GPU 内细粒度的“计算利用率”指标。该工具部署在一个拥有 89 个节点和 319 块 GPU 的集群上，收集了数月的数据。本文聚焦于一个为期 10 天的时段，期间来自 12 个院系的 150 名用户提交了 7,399 个作业。我们的研究揭示了三个关键发现：(1) GPU 集群存在显著的利用不足，超过 70% 的作业使用的 GPU 内存不足 20%，50% 的作业平均流式多处理器（SM）利用率低于 5%；(2) 80% 的作业其请求时长与实际时长存在严重不匹配，显著限制了调度器的有效性；(3) 我们考察的多 GPU 作业表现出高度周期性的通信模式。这些发现表明中间地带仍有充足空间：通过更好的作业调度和 GPU 多任务处理，无需依赖硬件或应用层面的改进，即可获得可观的利用率提升。
我们的监测方案已作为开源软件发布于此 https URL。
| 评论： | 19 页，12 幅图，4 张表。最初撰写于 2024 年秋季 |
| 主题： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.36329 [cs.AI] |
| （或 arXiv:2610.36329v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.36329 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrew Sheinberg [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 21:56:13 UTC（2,563 KB）
来源：arXiv cs.AI · arxiv.org