跳到正文
arXiv cs.AI· Jiansheng Wang, Jaskeerat Singh, Haochen Xu, Xinyi Li, Mingyuan Yan, Shaohui Liu, Yuzhuo Li, Yize Chen, Wenqi Cui·· 13 小时前AI 评分34

LLM-PowerTrace:面向 AI 计算的 GPU 功耗时间序列数据集

LLM-PowerTrace: A Dataset of Time-Resolved GPU Power Traces for AI Compute

AI 导读

LLM-PowerTrace 是一个开放的逐 GPU 功耗时间序列数据集,覆盖 LLM 微调与推理,在多种 NVIDIA 平台上以 100ms 间隔采样,并附带完整工作负载与系统元数据。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 算力正成为规模庞大且快速变化的电力负载。其对数据中心基础设施和电网的影响不仅取决于总能耗,还取决于其功耗在亚秒级到分钟级时间尺度上如何变化,包括峰值、爬坡以及跨加速器的同步波动。现有的大语言模型(LLM)能耗基准报告的是每 token 焦耳数等聚合量,且很少发布底层的时间序列测量数据,导致这些功率动态特征刻画不足、难以建模。我们推出 LLM-PowerTrace,这是一个开放数据集,包含 LLM 微调与推理过程中按 GPU 记录的时间分辨功率轨迹,在不同 NVIDIA 平台上每 100\,ms 采样一次,并配有完整的工作负载与系统元数据。在微调方面,LLM-PowerTrace 对覆盖广泛模型规模与微调方法的开放模型系列进行了剖析,并对批次大小、序列长度、精度、并行度和检查点机制进行了受控扫描。在推理方面,它覆盖了并发度、GPU 频率、KV 缓存与权重量化、提示与输出长度以及请求到达模式的变化。LLM-PowerTrace 对一组开放模型系列在广泛模型规模范围内进行了剖析,并针对微调对批次大小、序列长度、精度、并行度和检查点机制进行了受控扫描,针对推理对并发度、GPU 频率、KV 缓存与权重量化、提示与输出长度以及请求到达模式进行了扫描。基于功率轨迹,我们定义了面向电网的指标以及 AI 算力功率与能耗的缩放定律,用于外推到测量设置之外。总之,LLM-PowerTrace 为建模、预测和管理 AI 算力快速变化的电气行为提供了数据集基础。
评论: 投稿中;代码与数据集可在 此 https URL 获取
主题: 系统与控制(eess.SY);人工智能(cs.AI);操作系统(cs.OS)
引用为: arXiv:2610.38315 [eess.SY]
  (或 arXiv:2610.38315v1 [eess.SY] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.38315

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Yize Chen [查看邮箱]
[v1] 2026年10月28日 星期三 05:58:47 UTC(3,696 KB)

来源:arXiv cs.AI · arxiv.org