跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 2 小时前AI 评分58

哈佛论文发现编码 Agent 94.8% 的 token 是缓存重读,能耗或被低估 25 倍

AI 导读

哈佛一篇新论文记录 1 名工程师 10 周真实使用 Claude Code 的情况,共约 10 亿 token、42 个会话,发现 94.8% 被处理的 token 是缓存上下文重读,每个生成 token 平均读取约 260 个缓存 token。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-18 03:25· 56 分钟前AI 评分61

AI 导读

作者转发一篇哈佛论文,该论文记录 1 名工程师 10 周真实 Claude Code 使用,约 10 亿 token、42 个会话,发现 94.8% 处理的 token 是缓存上下文重读,每个生成 token 平均读取约 260 个缓存 token。

正文 · 原文

哈佛大学的一篇新论文发现,编码智能体处理的 token 中有 94.8% 是对缓存上下文的重读,也就是说,AI 处理的文本中有 94.8% 是它在重读先前的对话,而非新的工作。

而这种重读使其估计能耗增加约 25 倍,从 10 周内约 10 千瓦时升至约 250 千瓦时。

大语言模型的能耗估算通常只计算单次请求与响应调用。智能体在每次调用时都会重读不断增长的上下文,并将工作交给子智能体,而这些估算可能会遗漏这些部分。

作者记录了 1 名工程师 10 周内真实使用 Claude Code 的情况,约 10 亿 token、42 个会话。他们构建了一个能耗估算器,对缓存 token 只计入注意力读取的能耗,而不计入完整重新处理的能耗。

每生成一个 token 约读取 260 个缓存 token,且上下文在一个会话内增长了 5.3 倍。考虑缓存的估算结果约为 250 千瓦时,而基于输出的 EcoLogits 估算器约为 10 千瓦时。

如果你要追踪智能体的成本或排放,请计入缓存读取和子智能体调用,并尽可能在新会话中开始新任务。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news