arXiv cs.AI· Lars Krupp, Daniel Gei{\ss}ler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus·· 13 小时前AI 评分38
上下文真实成本：预测 LLM prefill 与 decode 阶段的计算时间和能耗
The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases
AI 导读
研究系统测量了 LLM 在不同 prefill（输入）与 decode（输出）token 长度下的计算时间和能耗，发现 decode 阶段的计算时间与能耗随输出长度线性增长，而 prefill 阶段则随输入长度呈线性与二次方双重增长。
正文 · AI 翻译
摘要：将大型语言模型（LLM）集成到智能体架构中大幅增加了 token 消耗，引发了对其能耗足迹的担忧。然而，估算基于专有 API 的模型的能耗仍然具有挑战性，现有方法主要关注生成的输出 token，而忽视了智能体工作流所特有的大输入上下文的影响。为填补这一空白，我们系统地分析了广泛范围内预填充（输入）和解码（输出）token 长度下的计算时间和能耗。利用广义线性模型，我们表明解码计算时间和能耗随输出长度呈线性增长，而预填充计算时间和能耗随输入长度呈线性和二次方增长。这些发现表明，输入上下文成为大上下文工作负载的一个相关因素。此外，我们表明在无法直接测量能耗时，计算时间可作为能耗的可靠代理指标。我们的映射框架能够实现精确的能耗估算，并支持更可持续的智能体 AI 部署决策。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39621 [cs.AI] |
| （或 arXiv:2610.39621v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39621 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lars Krupp [查看邮箱]
[v1]
2026年10月29日 星期四 08:50:32 UTC（186 KB）
来源：arXiv cs.AI · arxiv.org