arXiv cs.AI· Francesco Lettich, Emanuele Carlini, Franco Maria Nardini, Raffaele Perego, Salvatore Trani·· 11 小时前AI 评分23
PWR:面向 GPU 数据中心的功耗与碎片感知在线调度策略
Power- and Fragmentation-aware Online Scheduling for GPU Datacenters
AI 导读
研究提出在线调度策略 PWR,通过选择高能效的 GPU 与 CPU 组合来降低 GPU 数据中心功耗,其简化功耗模型已集成进 Kubernetes score 插件。在模拟集群实验中,PWR 与碎片梯度下降(FGD)策略结合后,在降低功耗与减少 GPU 碎片之间取得平衡。该成果发表于 IEEE CCGrid 2025。
正文 · AI 翻译
摘要:人工智能和大语言模型的兴起,推动数据中心为复杂的训练和推理任务增加 GPU 使用量,进而影响运营成本、能源需求以及大规模计算基础设施的环境足迹。本工作研究 GPU 数据中心的在线调度问题,即在不知道任务未来到达时间的情况下进行调度。我们关注两个目标:最小化 GPU 碎片化和降低功耗。当部分 GPU 分配阻碍剩余资源的有效利用时,就会出现 GPU 碎片化,尤其是在数据中心接近满容量时。近期的一种调度策略“碎片化梯度下降”(FGD)利用碎片化指标来解决这一问题。由于 GPU 的功耗需求巨大,降低功耗也至关重要。为此,我们提出 PWR,一种新颖的调度策略,通过选择高能效的 GPU 和 CPU 组合来最小化功耗。这涉及一个用于测量功耗的简化模型,并将其集成到 Kubernetes 评分插件中。通过在模拟集群中进行大量实验评估,我们展示了 PWR 与 FGD 结合使用时,如何在降低功耗和最小化 GPU 碎片化之间实现平衡的权衡。
| 评论: | 发表于 IEEE CCGrid 2025 会议论文集 |
| 主题: | 分布式、并行与集群计算(cs.DC);人工智能(cs.AI) |
| 引用为: | arXiv:2412.17484 [cs.DC] |
| (或 arXiv:2412.17484v2 [cs.DC] 为此版本) | |
| https://doi.org/10.48550/arXiv.2412.17484 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | 2025 IEEE 第25届集群、云和互联网计算国际研讨会(CCGrid),第 43-52 页(2025) |
| 相关 DOI: | https://doi.org/10.1109/CCGRID64434.2025.00015
链接到相关资源的 DOI |
提交历史
来自:Francesco Lettich [查看电子邮件]
[v1]
2024年12月23日星期一 11:27:17 UTC(310 KB)
[v2]
2026年10月23日星期五 15:37:26 UTC(186 KB)
来源:arXiv cs.AI · arxiv.org