Bedrock 开放权重模型支持显式提示词缓存
热点事件观察中
Bedrock 开放权重模型支持显式提示词缓存
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可与自动生效的隐式缓存配合使用。AWS Machine Learning Blog 发布教程称,缓存会复用匹配提示词前缀的计算状态,重复上下文直接从缓存读取,从而降低输入成本和响应延迟;两种模式均通过 Chat Completions API 使用,并可从响应中读取缓存用量字段。 计费上,缓存读取按低于标准输入的价格计费,前缀被重复使用时节省会累积;但视模型而定,缓存写入可能按高于标准输入的价格计费,最后一个断点之后的内容仍按标准输入价格计费。教程示例仅发起推理调用,不会在用户 AWS 账户中创建资源。
AI 根据报道生成 · 1 天前更新
最新进展11月16日 23:42
在 Amazon Bedrock 上用开放权重模型实现提示词缓存报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AWS Machine Learning Blog在 Amazon Bedrock 上用开放权重模型实现提示词缓存
Amazon Bedrock 的开放权重模型现已支持显式提示词缓存,可与自动生效的隐式缓存配合使用。缓存会复用匹配提示词前缀的计算状态,重复上下文直接从缓存读取,从而降低输入成本和响应延迟;缓存读取按低于标准输入的价格计费。两种模式均通过 Chat Completions API 使用,并可从响应中读取缓存用量字段。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1011月17日 00:00
- 近 24 小时变化
- -51%
02.557.510
11月17日06:0012:0018:0011月18日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。