Arena 分析 26,225 条 Agent 会话：缓存让任务成本最多省约 3.6 倍

Arena.ai· @arena · X·2026-10-30 23:07· 1 小时前AI 评分64

AI 导读

Arena 基于 2026 年 9 月 12 日至 10 月 23 日 Agent Arena 的 26,225 条会话、30 个 Agent 和 13 家实验室数据，分析提示词缓存对 Agent 成本的影响。

正文 · 原文

https://x.com/i/article/2116183418220511232

【X 长文】隐藏的 AI 价格战：没有缓存，你的 Agent 成本会高出 260%

作者 @DawidGalarowicz

上周，OpenAI 的 Tibo Sottiaux 宣布 API 支持 12 小时提示词缓存，并且 Codex 和 Work 中的缓存永不过期。回复褒贬不一：一些用户欢呼，另一些则感到困惑。缓存为何如此重要？

为了看清利害关系，以及实验室为何如此关注缓存，我们分析了 2026 年 9 月 12 日至 10 月 23 日期间 Agent Arena 的追踪数据，涵盖 26,225 条会话、30 个 Agent 和 13 家实验室。此外，我们还查看了六家实验室自 2024 年 1 月以来的缓存价格历史。

主要发现

- 缓存折扣在两年内从零升至 95%。2024 年初，缓存读取的成本与全新输入一样高。如今，领先实验室的前沿模型仅收取输入价格的 5%。

- 缓存是让 Agent 保持可负担的关键。没有它，排名前十的 Agent 完成一项典型任务的成本会高出 3.6 倍。对于最重的 5% 任务，差距可达数百美元：在 Claude Fable 5.1 上，无缓存时每项任务约 780 美元，有缓存时约 115 美元。

- Agent 主要花钱在重读上。Agent 使用的 token 中，86% 到 96% 是它已经见过的上下文。只有约百分之一是 Agent 自己写出的文本。

- 每次缓存失效都会增加一笔可观的费用。每次失效都会按全价重新计费整个对话，使典型任务成本增加约 5%，而在十分之一的 Claude Fable 5.1 会话中，增幅超过 18%。在长对话线程中，这些成本会激增。

实验室正竞相降低缓存价格

缓存折扣是相对较新的发明。2024 年初，没有实验室提供这项优惠。

首批实验室在 2024 年 6 月至 10 月间推出，到 2026 年，Anthropic、OpenAI 和 Google 已将其定为输入价格的十分之一。自 2026 年中期以来，这三家都已将前沿模型降至 5% 或更低，而 DeepSeek 自春季以来仅收取 2%。

这场竞赛正是当今 Agent 经济性的基础。

缓存让你的账单最多便宜 7 倍

如果每个缓存 token 都按完整输入价格计费，Agent Arena 用户交给排名前十的 Agent 的典型任务成本会高出 3.6 倍。在各模型上，用户将多付 92%（Gemini 4 Argon）到 592%（MiMo V2.6 Pro）不等。

这一变化的影响在能力最强的 LLM 上最为明显，尤其是换算成金额时。

如今一项典型的 Claude Fable 5.1 任务成本为 7.44 美元；没有缓存则需 27 美元。这意味着启用缓存后，可以委托给 Fable 的任务量超过 3.5 倍。

任务越重，缓存越重要。没有缓存，最重的 5% 任务成本将是：

- 在 GPT-6 Astra 和 Claude Fable 5.1 上每项约 800 美元，而有缓存时为 115 至 220 美元。

- Kimi K3.1 Pro 上 106 美元，Gemini 4 Argon 上 31 美元，MiMo V2.6 Pro 上 11 美元，是有缓存时的四到十倍。

但缓存为何如此重要？这取决于 Agent 使用 token 的方式。

Agent 主要在重读，而重读驱动了大部分账单

智能体使用 token 的方式可以分为三类。输出是模型写出的内容，包含推理过程。新输入是它首次看到的材料，包括缓存写入。重读，即缓存读取，是它已经见过、并在后续调用中重新读取的上下文。

对于这些智能体，重读占 token 的 86% 到 96%，而输出仅占 1% 到 2%。在前 10 名中，智能体每写出 1 个 token，大约要重读 93 个 token。

这是因为模型在调用之间不保留任何记忆。智能体循环的每一步都会把整个对话重新发送，而服务商则从缓存中提供它已经见过的内容。随后产生的回复又会被之后的每一步再次读取，于是雪球越滚越大（快速了解可观看下方视频）。

这一机制使得重读此前的对话远比重新发送便宜，通常只有价格的十分之一或二十分之一。但它只在服务商仍保存着该对话时有效。如果不再保存会怎样？

每次缓存失效都会增加费用

上面两张成本图表展示了极端情况：什么都不保存，完全没有缓存。

在实践中，缓存大多数时候表现符合预期，但失效确实会发生。结果就是，智能体不得不以全价重新发送整个对话。这是使用智能体的正常组成部分，我们在以下情况会看到缓存失效：

- 保存的缓存过期。服务商只会保留一段时间，从几分钟到几小时不等。例如，Anthropic 默认保留 5 分钟，OpenAI 保留 30 分钟，两者都收取额外费用以延长保留时间。如果用户离开，或者某个工具运行时间很长，等到智能体继续时缓存可能已经消失。

- 对话发生变化。为节省空间而摘要较早的消息、编辑或重试较早的消息，或者更改智能体的工具，都会改变对话的开头。保存的缓存不再匹配，因此变更之后的所有内容都必须重新发送。

- 服务商丢弃缓存。在高负载下，服务商可能会提前清除保存的缓存，或者请求可能到达没有该缓存的其他服务器。

为了了解其中一次中断的代价，我们选取了真实的 Agent Arena 对话，并在智能体于轮次之间接手的每一个时间点，按完整输入价格而非更便宜的缓存价格，计算重新发送截至当时对话的成本。对这些时间点取平均值，可得出任务中随机时刻缓存失效的近似成本。

结果显示，单次失效会使典型任务的成本增加约 5% 到 10%。在某些会话中，影响要大得多：每 10 次中有 1 次会使账单增加超过 13-21%（取决于模型），每 20 次中有 1 次增加超过 25-38%。缓存越便宜，涨幅越大：在 MiMo V2.6 Pro 上，其缓存读取成本不到输入价格的 1%，这些数字升至 44% 和 69%。

在长对话中，这些成本会累积，因为每次后续失效都意味着要重新发送更多上下文。例如，在 Agent Arena 上的一个 Claude Fable 5.1 会话中，短暂休息后的六次失效使账单增加了 42%。

这正是 OpenAI 最新改动所弥合的差距。如果你不确定该如何看待 Tibo 的帖子——确实有理由庆祝。

方法

数据

- Agent 轨迹：来自 Agent Arena 的 26,225 个会话，结束时间在 2026 年 9 月 12 日至 10 月 23 日之间，每个模型最多 1,000 个，覆盖 30 个 agent。
这些模型涵盖截至 10 月 8 日 agent 排行榜的前 20 名，以及另外 10 个模型，既提供了多样化的样本，也展示了对前沿的影响。
提及前 10 名 agent 时，指的是 10 月 8 日排行榜上的前 10 名。
图中仅展示了部分模型样本。

- 价格：标价来自各实验室的定价页面。
价格历史涵盖 2024 年 1 月以来的数据。

方法

- 成本：按任务计算，采用标价。
每个模型的定价方式与 API 客户的计费方式一致。
token 图表展示了所有会话中的占比和平均 token 数。

- 无缓存：任务中每个缓存的 token 都按完整输入价格重新计价，token 用量保持不变。

- 缓存失效：我们采样了 Agent Arena 中至少有两轮的会话，并考虑了会话中的每一轮。
在每一轮，我们取截至当时的对话，计算以完整输入价格发送与从缓存读取之间的差异。
对会话各轮取平均，得到在随机点重启的额外成本。
然后除以会话的每任务成本，得到百分比版本。
对每个模型，我们取各会话的中位数作为典型成本，并给出第 75、90 和 95 百分位数。

来源：Arena.ai · x.com