arXiv cs.AI· Zeyu Yang, Wes Armour·· 3 天前AI 评分40
开放权重 LLM 的推理能效如何随基准、推理模式与硬件变化
Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware
AI 导读
研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗，发现能力相近的模型能效差异巨大，多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量，差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗，且收益高度依赖模型家族与输出预算；FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理，会误判 18–24% 的模型配对。
正文 · AI 翻译
摘要：基准测试分数告诉我们 LLM 能做什么，但并未说明实现该能力需要消耗多少能源。我们针对 86 个开放权重模型检查点直接测量了这一权衡，评估涵盖七个基准测试和六种硬件平台，从消费级 GPU 到八 GPU 服务器。我们发现，即使能力相近的模型之间，能效也存在巨大差异。大多数配置都远离分数—能源帕累托前沿：它们消耗的能源中位数比另一个至少得分相同的配置多 2.6--4.8$\times$，差异最高可达 27$\times$。推理可以提升能力，但启用思考平均会增加约 3.7$\times$ 的能源消耗，且收益在很大程度上取决于模型系列和输出预算。生成 token 数也是能源的不完美代理指标，会导致 18--24\% 的模型对排序错误。相比之下，FP8 可将能源降低约四分之一，而分数变化很小；更换硬件则主要重新缩放能源，而不改变模型的相对排名。这些结果表明，仅凭能力无法完整反映效率。我们认为，基准测试分数应与在指定服务机制和输出预算下测得的能源消耗一同报告。
| Subjects: | 人工智能（cs.AI）；性能（cs.PF） |
| 引用为： | arXiv:2610.14389 [cs.AI] |
| （或本版本的 arXiv:2610.14389v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.14389 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeyu Yang [查看电子邮件]
[v1]
2026年10月9日星期五 23:15:10 UTC（626 KB）
来源：arXiv cs.AI · arxiv.org