跳到正文
热点事件观察中

Bedrock 开放权重模型支持显式提示词缓存

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可与自动生效的隐式缓存配合使用。AWS Machine Learning Blog 发布教程称,缓存会复用匹配提示词前缀的计算状态,重复上下文直接从缓存读取,从而降低输入成本和响应延迟;两种模式均通过 Chat Completions API 使用,并可从响应中读取缓存用量字段。 计费上,缓存读取按低于标准输入的价格计费,前缀被重复使用时节省会累积;但视模型而定,缓存写入可能按高于标准输入的价格计费,最后一个断点之后的内容仍按标准输入价格计费。教程示例仅发起推理调用,不会在用户 AWS 账户中创建资源。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. AWS Machine Learning Blog
    在 Amazon Bedrock 上用开放权重模型实现提示词缓存

    Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可与自动生效的隐式缓存配合使用。缓存会复用匹配提示词前缀的计算状态,重复上下文直接从缓存读取,从而降低输入成本和响应延迟;缓存读取按低于标准输入的价格计费。两种模式均通过 Chat Completions API 使用,并可从响应中读取缓存用量字段。

本事件热度走势

可比范围当前
5
可比范围峰值
1011月17日 00:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。