跳到正文
热点事件持续更新

AWS 博客讲解 Bedrock 上 OpenAI 模型的提示缓存用法

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

AWS 机器学习博客作者 Claudio Mazzoni 发布教程,讲解在 Amazon Bedrock 上调用 OpenAI 模型时如何使用提示词缓存:智能体可复用已保存的 KV 状态,不必每轮重复处理工具定义、指令和历史。文中测试显示,约 4,000 token 的工具与指令前缀首次写入计为 4,120 token,后续请求直接读取同样 4,120 token。 按该教程,可复用前缀须达到 1,024 token 才符合条件;缓存前缀最短存活 30 分钟,成功复用会刷新,也可能更久;缓存写入按正常输入价格的 1.25 倍计费;复用需同一模型、同一 AWS 账户和区域,且存在匹配前缀。这些是作者在教程中的说法。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AWS Machine Learning Blog
    AI 智能体的“土拨鼠之日”:在 Amazon Bedrock 上使用 OpenAI 模型的提示词缓存模式

    在 Amazon Bedrock 上调用 OpenAI 模型时,提示词缓存可让智能体复用已保存的 KV 状态,避免每轮重复处理工具定义、指令和历史。测试中约 4,000 token 的工具与指令前缀首次写入 4,120 token,后续请求直接读取同样 4,120 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。