ArisGlobal 调整 Bedrock 提示缓存顺序降本
热点事件持续更新
ArisGlobal 调整 Bedrock 提示缓存顺序降本
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
AWS 博客复盘 ArisGlobal 在 Amazon Bedrock 上的生成式 AI 推理成本优化:ArisGlobal 最初把请求中占比最大的源文档放入提示缓存,导致不断增长的共享提示词前缀落在缓存之外;改为缓存共享提示词前缀后,有效输入成本下降,得以支撑更多租户而不带来成本等比增长。 按博客所述,Bedrock 提示缓存默认 TTL 为 5 分钟,部分模型可通过设置 "ttl": "1h" 延长至 1 小时;Claude Sonnet 4.5 的最低缓存长度为 1,024 tokens,模型可用性因区域而异。
AI 根据报道生成 · 6 小时前更新
最新进展11月17日 23:57
ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- AWS Machine Learning BlogArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理
ArisGlobal 通过调整 Amazon Bedrock 提示词缓存顺序,将共享提示词前缀而非源文档放入缓存,从而降低有效输入成本,支撑更多租户而不带来成本等比增长。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月18日 01:00
- 近 24 小时变化
- –
02.557.510
01:0002:0003:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。