用埃森哲的分阶段方法优化 Amazon Bedrock 上的 AI 成本
Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach
埃森哲在电信、保险、矿业等四个客户项目中应用六项 token 成本优化手段,在测得节省的场景中 token 支出下降约 40–85%。
随着企业在 Amazon Bedrock 上扩展 AI 规模,即使每 token 价格下降,token 支出往往仍会增长。如果没有成本分配标签,你的云账单只会将 AI 支出显示为单个行项目,而无法按团队、工作负载、代理或模型拆分。更便宜的 token 扩大了采用范围,而代理式工作负载使调用次数成倍增加。随着成功的 AI 用例规模扩大,消耗量的增长可能快于单价的下降。经济问题在于,所产生的业务价值是否比产生它所需的智能成本增长得更快。Linux 基金会已成立 Tokenomics Foundation,以制定 AI 成本经济学的开放标准,这表明管理 AI 经济学如今已成为一门行业学科。
在本文中,你将了解优化 token 支出的六种手段、埃森哲如何在生产环境中应用这些手段,以及如何使用 Amazon Bedrock 应用它们。
埃森哲在电信、保险、采矿和大型企业部署这四个客户项目中应用了这些手段。如本文所述,这些手段在 Amazon Bedrock 上原生可用。在测量了节省效果的地方,token 支出下降了约 40% 至 85%。结果因每个客户的工作负载而异,可能有所不同。为保护客户机密,埃森哲隐去了客户名称。
归因优先:在业务层面衡量成本
在优化任何内容之前,你需要了解消耗发生在哪里、由谁负责,以及它产生了什么业务价值。团队、工作负载和代理级别的成本分配标签是将消耗与可问责的负责人、并最终与业务成果关联起来的前提条件。你通过 Amazon Bedrock 应用程序推理配置文件应用它们,每个应用程序或工作负载一个配置文件,并按团队、成本中心和环境打标签。在 AWS Billing and Cost Management 控制台中将它们激活为成本分配标签后,你可以使用这些标签追踪哪些团队、应用程序和代理在推动支出。它们还使衡量你引入的每项变更的影响成为可能。
三项 AWS 服务提供底层遥测数据。AWS 成本和使用报告(CUR 2.0)通过 AWS Data Exports 交付,负责财务归因,在成本分配标签激活后按工作负载和团队细分计费的推理成本。Amazon CloudWatch 捕获调用次数和延迟等运营信号。Amazon Bedrock 模型调用日志记录记录请求级详细信息,包括所使用的模型以及每次调用的输入和输出 token 数量。
仅有遥测数据还不够。工程师可以在仪表板上查看每次调用的成本,但产品负责人和项目负责人需要以业务术语表达的指标。埃森哲的每笔业务交易成本(CpBT)框架弥合了这一差距。CpBT 将促成一项成功业务输出的所有模型调用、重试、工具调用和代理交接汇总为一个完全加载的成本数字。它揭示了产生结果的真实成本,包括原始 token 定价所隐藏的失败尝试。结合每个工作流交付的业务价值进行追踪,CpBT 可以区分反映规模化成功的账单增长和反映浪费的账单增长。
六种优化手段
这六大杠杆的目标并非不惜一切代价地最小化 token,而是以适当的成本、质量和风险,使用恰当数量和智能水平来交付每一项业务成果。这些杠杆根据变更的复杂程度和所需投资分为三个阶段。AWS 和埃森哲建议按顺序推进各阶段,你也可以针对影响最大的工作负载单独应用每个阶段。
阶段 1:仅配置,无基础设施变更
借助 Amazon Bedrock 提示缓存,模型会复用请求中重复出现的提示部分,例如系统指令、工具定义和参考文档,从而无需再为处理相同内容支付全价。Amazon Bedrock 会存储先前计算过的提示前缀的键值状态,并设计为在后续请求中跳过重新计算。对于支持的模型,该功能旨在将缓存输入 token 成本降低最多 90%(参见 Amazon Bedrock 提示缓存)。
Amazon Bedrock 批量推理以异步方式将非紧急工作负载作为一组进行处理,对于部分模型,其成本比按需定价低 50%(参见 Amazon Bedrock 定价)。你将推理请求作为批处理作业提交,处理完成后结果会写入 Amazon Simple Storage Service(Amazon S3)。批量推理适用于夜间报告、文档处理流水线以及无需即时响应的评估运行。
这两个杠杆都是在现有设置上增加配置。提示缓存需要在提示中添加缓存检查点标记,批量推理则需要将符合条件的请求作为批处理作业提交,而不是调用按需 API。将缓存应用于交互式按需流量,将批量推理应用于异步工作。两者都不需要新的基础设施或架构变更。
阶段 2:架构变更
Amazon Bedrock 智能提示路由会在同一模型系列内的多个模型之间分配请求,使每项任务匹配其业务价值、复杂度和风险所需的智能水平,而不是将所有请求都默认交给最强大的模型。智能提示路由可在不牺牲准确性的前提下将成本降低最多 30%(参见 Amazon Bedrock 智能提示路由)。有关路由费用,请查看 Amazon Bedrock 定价。在以下合作项目中,埃森哲的模型分层和分诊路由应用了同样的路由杠杆。
检索增强生成(RAG)优化会调整 RAG 流程中的检索步骤,使更少不必要的上下文 token 到达模型。分层分块、基于元数据的过滤和重排序等技术可将检索到的上下文缩小到最相关的分块,因此你主要只为能改善答案的内容付费。
埃森哲的两种互补模式与这些 AWS 原生杠杆配合使用。上下文范围限定将每个智能体接收的数据限制为与其工作流步骤相关的文档片段,而不是在每次交接时传递完整的案例上下文。上下文压缩会在文档到达模型之前对其进行摘要或过滤。两者都能减少输入 token 量,尤其是在多智能体链中。
阶段 3:基础设施和训练投资
语义缓存会存储响应,并在新请求与已应答请求在语义上相似时复用这些响应,即使措辞不同也是如此。这避免了重复的模型调用,同时降低了成本和延迟。在 AWS 上,你可以在模型前面使用诸如 Amazon ElastiCache 这样的向量存储来实现它。在一项针对 63,796 条真实聊天机器人查询的 AWS 基准测试中,0.90 的相似度阈值带来了 74.5% 的缓存命中率、92.3% 的准确率和 72.5% 的成本节省(参见 ElastiCache 语义缓存基准测试)。在应用路由和语义缓存时,请在每条路由上保留 Amazon Bedrock Guardrails,并设置语义缓存过期时间,以免用户收到过时的答案。
模型蒸馏将知识从大型教师模型迁移到更小、更快的的学生模型。Amazon Bedrock 中的蒸馏模型比原始模型快最多 500%,成本低最多 75%,对于 RAG 等用例,准确率损失不到 2%。蒸馏最适合稳定、高吞吐量的工作负载,这类场景的交易量足以证明训练投入是值得的。
生产实践:四个客户项目
Accenture 在四个客户项目中应用了这些手段。每个项目针对不同的成本模式。在其中两个项目中,Accenture 同时应用了多项变更,因此这些结果反映的是综合效果,而非任何单一手段的效果。
第一个项目是一个大型企业部署,其中每个请求都发往前沿模型,没有缓存、模型分层或批处理。Accenture 同时应用了三项变更:模型分层,将每项任务匹配到能够胜任的最小模型;提示缓存,用于重复出现的上下文;批处理,用于夜间和非紧急任务。三者合计将每月 token 成本降低了 85%,且节省额未按变更拆分。约 15% 的任务仍需要顶级模型来处理困难的开放式推理,其余任务则在较轻量的模型上运行。你的比例将取决于工作负载的构成。
第二个项目是一家电信运营商,年度 token 支出为 1200 万美元。其中大部分支出源于智能体无限制地分发请求,以及无论复杂度如何每个请求都发往前沿模型。Accenture 同时应用了分诊路由、语义缓存和上下文压缩。输入 token 下降了 70%,年度 token 支出从 1200 万美元降至 380 万美元,降幅为 68%。Accenture 依据该运营商变更前的性能基准验证了输出质量。
第三个和第四个项各自应用了单一缓存层。一家保险公司使用了模型层前缀缓存,在多次调用之间复用其提示中的静态部分。一家矿业运营商使用了应用层语义缓存,在重复查询到达模型之前返回已存储的响应。在这两个项目中,token 支出合计下降了约 40%,且未进行模型路由变更或训练投入。
结果
结果范围从约 40% 到约 85%,反映了每个客户的起点。大型企业部署最初未进行任何优化,最终达到 85%。电信运营商在每年 1200 万美元的 token 支出上达到 68%,而保险公司和矿业运营商各采用一个缓存手段,合计达到约 40%。结果因每个客户的工作负载而异,可能会有所不同。
这些节省并非最终目标。它们创造了扩展 AI 工作负载、再投资于更高价值用例以及提高每美元 AI 消耗所产生回报的能力。其中两个合作项目同时应用了多项变更。当你一次应用一个手段时,你可以将每个结果归因于特定的变更。AWS 和 Accenture 建议对你自己的工作负载采用以下顺序:将消耗与负责人和成果关联,一次应用一个手段,衡量成本、质量和业务价值,并在有效的基础上继续构建。
生产治理:四项运营原则
在生产中优化 AI 经济性需要一个涵盖成本、质量、风险和业务价值的持续治理周期,而不是一次性的技术变更。在应用任何手段之前,为成本和质量建立定量基线,以便你可以对照已知起点衡量每项变更的影响。当你验证输出质量时,使用从实际生产流量中抽取的留出评估集,而不是合成基准。每个工作负载一次应用一个手段,以便你可以将结果归因于特定变更,并在质量低于可接受阈值时干净地回滚。如果你在金融服务、保险或医疗保健等受监管行业运营,请将你的质量测试结果和回滚程序记录为标准变更管理记录的一部分。
无论你使用哪些手段或处于排序的哪个阶段,这四项原则都适用。Amazon Bedrock AgentCore 是一个环境,你可以在其中使用任何框架或模型大规模构建、连接和优化代理。它包括 AgentCore Evaluations,这是 Amazon Bedrock AgentCore 的一项能力,提供批量评估,以支持你在推进更高级手段时的质量验证周期。
入门
你可以从三个步骤开始。首先,通过在团队和工作负载级别应用成本分配标签,为 Amazon Bedrock 开启成本归因,以便你的支出从第一天起就可追溯。其次,在 AWS Billing and Cost Management 控制台中激活这些标签。然后使用 CUR 2.0 和模型调用日志来识别高消耗工作负载,并根据支出、业务价值、质量要求、风险、数量和优化潜力对每个工作负载进行评估。第三,将 Amazon Bedrock 提示缓存应用于该工作负载的交互流量,并将 Amazon Bedrock 批量推理应用于其异步作业,作为仅配置变更,并在进入第 2 阶段的架构变更之前衡量结果。
AWS Well-Architected Agentic AI Lens 包括 模型调用和 token 成本优化(AGENTCOST02),这是代理工作负载成本优化支柱中的一个重点领域。该重点领域提供了一个结构化框架,你可以使用它在整个组织中大规模应用这些手段。
关于作者
Ilan Geller
Ilan 是 Accenture 的董事总经理,专注于人工智能、交付和客户增长。
Steven Cox
Steven 是 Accenture AWS Business Group 的副总监,也是一位专注于 AWS 的首席架构师。他负责领导 Accenture 各客户项目中的代币经济学工作。
Manoj Ravulapati
Manoj 是 AWS 的高级客户解决方案经理,负责领导战略性 AI 计划,帮助企业扩展 agentic AI。
Rajdeep Banerjee
Rajdeep 是 AWS 云卓越中心的高级解决方案架构师。他与 AWS 合作伙伴合作,在 Amazon Bedrock 上设计和优化生成式 AI 工作负载。
来源:AWS Machine Learning Blog · aws.amazon.com