arXiv cs.AI· Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein·· 13 小时前AI 评分38
LLM 解码阶段的功耗上限幻觉：跨注意力架构的分阶段能耗表征
The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures
AI 导读
在 NVIDIA H200 上用 vLLM eager 执行测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种注意力架构后发现，功耗上限对主导 LLM 服务的自回归解码几乎无效：解码内核等待 HBM、GPU 在 kernel 启动间隙空闲，功耗不足 700W 额定值的一半，各上限下吞吐差异仅几个百分点。
正文 · AI 翻译
摘要：功耗上限是 LLM 服务中常见的 GPU 能耗调节手段，而且看起来有效：设置上限后，GPU 报告的实际功耗低于该上限，能耗预算得以满足。我们表明，该上限对主导 LLM 服务的阶段——自回归解码——几乎不起作用。在 NVIDIA H200 上以 vLLM eager 执行模式测试四种注意力范式（GQA、MLA、Gated DeltaNet 和 Mamba2）时，解码内核等待 HBM，GPU 在内核启动之间空闲，因此解码功耗不到 GPU 700W 额定功率的一半，且在我们设置的每个上限下吞吐量变化都在几个百分点以内。只有当大批量执行长生成时，上限才会起作用。改为锁定 SM 时钟可在不拖慢内存受限解码的情况下降低功耗，并以极小的吞吐量损失回收高达 32% 的解码能耗。我们识别出三种依赖架构的频率缩放类别，并发现，一旦在无前缀缓存的情况下测量预填充，循环架构就不承担预填充代价：其线性时间混合在长提示上优于二次注意力，因此其高效解码叠加预填充节省，在大批量下从第一个输出 token 起就降低总请求能耗。
| 评论： | 已被 PPAM 2026（第 16 届国际并行处理与应用数学会议）接收 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG）；性能（cs.PF） |
| 引用为： | arXiv:2605.11999 [cs.DC] |
| （或 arXiv:2605.11999v2 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.11999 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bole Ma [查看邮箱]
[v1]
2026 年 5 月 12 日星期二 11:48:16 UTC（237 KB）
[v2]
2026 年 10 月 29 日星期四 15:43:01 UTC（158 KB）
来源：arXiv cs.AI · arxiv.org