跳到正文
AWS Machine Learning Blog· Meghan Kothari·· 17 小时前AI 评分48

降低生成式 AI 成本:用代码处理规则,用模型处理判断

Cut generative AI costs: Code for rules, models for judgment

AI 导读

AWS 提出按步骤判断生成式 AI 工作流是否需要调用模型:能用格式、schema、关键词或范围规则校验的步骤改用确定性代码,只有开放式任务才交给 Amazon Bedrock 上合适规模的模型。固定选项的路由与分类步骤可用结构化输出的小模型或嵌入向量相似度完成,并以置信度触发升级。文章称无谓的模型调用会随请求量推高成本、叠加数百毫秒延迟,并因输出不稳定增加测试与审计难度。

正文 · AI 翻译

生成式 AI 系统中最大的成本杠杆在于你是否调用模型。我们经常看到团队把每项任务都交给大语言模型(LLM)处理,包括输入验证、格式化和路由。单次调用看似便宜,但在生产规模下,这些小额成本会成为架构中最大的支出项之一。只要确定性规则能完成工作,跳过模型就能省钱、降低延迟,并消除一个非确定性来源。在本文中,你将了解如何判断工作流中的每个步骤是否真的需要模型。然后,你可以将每个选项映射到 AWS:确定性代码、受限决策调用,或 Amazon Bedrock 上规模合适的模型。

为什么不必要的模型调用会累积

这种模式通常始于原型阶段。模型调用对某个步骤有效,于是它就成了下一步的默认做法。这些步骤包括验证输入、重新格式化请求体和选择路由。在原型规模下,没人会注意到成本。

在生产规模下,不必要的模型调用会从三个方面让你付出代价:

  • 支出随请求数量增长,即使是低价值步骤也不例外。
  • 延迟叠加,因为链式调用中的每次模型调用都会增加数百毫秒。
  • 输出可能变化,因为相同的输入可能返回不同的答案。这使测试更难,审计更慢。

此后每次新模型发布都会重新引发该用哪个模型的争论。而更早的问题——这个步骤到底需不需要模型——却无人问津。

成本指导,包括 AWS Well-Architected 生成式 AI 透镜,通常从模型选择开始。本文则提前一步:这个步骤到底需不需要模型?

如何判断一个步骤是否需要模型

图 1 以流程图形式展示了整个决策过程,包含三个标注泳道:以代码运行、问题、在模型上运行。让每个工作流步骤依次经过三个问题,并在第一个满足该步骤要求的选项处停止:

  1. 规则能否检查成功,例如格式、模式、关键词或范围?如果规则只能解决步骤的一部分,则先由快速路径运行规则。
  2. 模型能否一次性写出规则,例如正则表达式或 JSON 模式?
  3. 该步骤是否从固定列表中选择一个答案,例如路由、类别或是/否?

如果三个问题的答案都是否,则该步骤是开放式的,应在规模合适的模型上运行。

Flowchart that sorts a workflow step into code, a constrained decision call, or a right-sized Amazon Bedrock model

图 1:判断工作流步骤是否需要模型,以及需要哪个模型

以客户支持助手为例。下表展示了其五个步骤如何经过该流程图。

# 步骤 经过流程图的路径 运行位置
1 检查订单号的格式 规则可以检查成功。 Amazon API Gateway REST API 请求验证,或 AWS Lambda 函数
2 按意图路由消息 规则可解决一部分。快速路径上的关键词匹配可处理“退款”等消息,剩余部分进入第三个问题。 使用 JSONata 的 AWS Step Functions Choice 状态。剩余部分进入受限决策调用。
3 从承运商邮件中提取追踪号 模型可以一次性写出规则。它起草一个正则表达式,你审核并提交。 代码,作为 AWS Lambda 中已提交的模式
4 为工单选择四个支持队列之一 答案来自固定列表。 受限决策调用。不确定的答案升级到规模合适的模型。
5 起草给客户的回复 该任务是开放式的。 规模合适的模型,即满足要求的最小 Amazon Bedrock 模型

当任务开放、模糊或具有生成性时,你可以使用模型:总结文档、起草回复、从散文中提取含义。当任务具有可检查的规则时,应使用确定性代码:电子邮件格式、schema、精确关键词、数值范围。下表展示了当你把规则型任务交给模型时会失去什么。

属性 确定性代码 模型调用
每次调用成本 通常低几个数量级 按 token 计费,规模化时成本不低
延迟 个位数毫秒或更低 数百毫秒
对明确定义规则的正确性 按所写规则精确执行 较高,但存在非零错误率
可审计性 规则存放在源代码管理中 更难向审计人员解释
随时间变化的行为 在你更改之前保持稳定 当你迁移到新的模型版本或某个版本退役时会发生变化

模型还可能产生幻觉,并对相同输入返回不同答案。温度为 0 会降低出现不同答案的可能性,但并不能保证输出完全相同。Amazon Bedrock 模型评估和 Amazon Bedrock Guardrails 可帮助你衡量并控制这些风险。规则不存在这两个问题,这也是受监管工作负载青睐规则的原因之一。一个有用的测试:如果你能把验收测试写成规则,通常就能把该步骤写成规则。更多信息,请参阅 AWS Prescriptive Guidance 中的 Orchestration models: From rule-based to AI-native。

做决策,而非生成

大多数路由和分类步骤介于规则与开放式生成之间。规则无法判定所有情况,但这些步骤也不需要生成文本。它们需要从你预先定义的固定选项列表中给出一个答案,就像前面示例中的支持队列。使用一个将输出限制为允许答案的组件,并为你提供何时升级的信号。有把握的答案继续处理,不确定的答案则升级。AWS Well-Architected Agentic AI Lens 描述了这种分层、基于置信度的升级。在 AWS 上,你可以通过四种方式构建它:

  • 带结构化输出的小型 Amazon Bedrock 模型 – 答案被限制为 enum 个选项,外加一个触发升级的“不确定”选项。这是模型自身的判断,而非校准后的分数,因此在用它决定升级之前,请对照标注数据进行验证。
  • 嵌入相似度 – 使用 Amazon Bedrock 嵌入模型对输入进行嵌入,并选择最接近的标注示例。将相似度分数用作升级信号,并在标注数据上设置其阈值。
  • Strands Decider,一个基于 Apache License 2.0 的实验性开源决策模型 – 它从选项中选择或根据评分标准打分,并为每个答案返回校准后的置信度。其 README 报告称,在短分类任务中,置信度为 0.9 或以上的答案约有 95% 是正确的。由于该模型是实验性的,在生产中使用前请在你自己的数据上验证该结果。你可以自行托管它,例如按照其仓库中的部署指南,在 Amazon SageMaker AI 端点上托管。
  • 在 Amazon SageMaker AI 上训练的分类器 – 一旦你有了带标签的训练数据,它就能以低延迟和低成本返回类别概率。

以下 JSON schema 将结构化输出答案限制为四个队列加上“unsure”。Amazon Bedrock 要求 schema 中的每个对象都将 additionalProperties 设置为 false。

{
  "type": "object",
  "properties": {
    "queue": {
      "type": "string",
      "enum": ["billing", "technical", "account", "other", "unsure"]
    }
  },
  "required": ["queue"],
  "additionalProperties": false
}

无论你选择哪种方案,都要用你自己的带标签数据来检验其升级信号,并在那里设置阈值。将你的授权决策(例如退款限额)保留在规则中。

确定性快速路径模式

许多成本优化模式关注的是模型之间的路由。快速路径则更早一步:先运行确定性检查,只把规则无法解决的内容发送给模型。意图路由就是一个例子。许多消息带有明确的信号,例如“退款”或“重置我的密码”,关键词匹配可以在个位数毫秒或更短时间内解决。如果规则能解决 95% 的请求,那么在模型选择带来任何节省之前,只有 1/20 的请求会到达模型。(说明性算术,并非基准测试。)

在 AWS 上,你可以用现有的构建块来组合实现:

  • AWS Step Functions Choice 状态在工作流调用任何模型之前进行分支。
  • AWS Lambda 承载需要比 Choice 状态更多功能的规则,例如验证和 schema 检查。
  • Amazon API Gateway(REST API)请求验证在任何计算运行之前拒绝格式错误的输入。
  • 受约束的决策调用或 Amazon Bedrock 模型只处理剩余部分。

以下 Choice 状态是一个关键词快速路径。它使用 JSONata 将退款和密码重置消息直接发送到代码,并将其他所有内容发送到受约束的决策调用。

"KeywordFastPath": {
  "Type": "Choice",
  "QueryLanguage": "JSONata",
  "Choices": [
    {
      "Condition": "{% $contains($states.input.message, /refund/i) %}",
      "Next": "RefundFlow"
    },
    {
      "Condition": "{% $contains($states.input.message, /reset (my )?password/i) %}",
      "Next": "PasswordResetFlow"
    }
  ],
  "Default": "ConstrainedDecisionCall"
}

你也可以让模型只编写一次规则,而不是每次都运行它。让它起草一个正则表达式或 JSON schema,审查它,然后提交。在运行时,规则以规则的速度和成本运行。审查模型编写的正则表达式,并用已知的良好和不良输入进行测试。避免嵌套量词,例如 (a+)+,这在某些输入上会使匹配变得非常慢(正则表达式拒绝服务,即 ReDoS)。

当你确实要生成时,Amazon Bedrock 结构化输出会将响应约束为你定义的 JSON schema。然后响应会匹配该 schema,因此你的代码无需自定义解析逻辑即可解析它(检查内容的正确性)。将范围检查(例如数值边界和长度限制)保留在代码中。有关支持的模型和 schema 功能,请参阅从模型获取经过验证的 JSON 结果。

如果你的规则存在于配置中,只允许已知的原语,例如正则表达式、schema 检查、关键词列表和范围检查。永远不要从配置文件运行任意代码。

当你确实需要模型时,要合理选择其规模

选择满足你质量下限的最便宜、最快的模型。这通常不是最新或最大的模型。生成式 AI 透镜在其关于合理选择模型规模的最佳实践中涵盖了这一点。Amazon Bedrock 的有效成本优化策略对此进行了深入介绍。在比较模型之前定义需求:

  • 质量下限: 可接受的最低输出质量,在黄金评估集(带有已知正确答案的任务标注示例)上衡量。
  • 成本上限: 你每个请求或每个成功结果支付的最高费用。
  • 延迟目标: 体验可以容忍的 p95 或 p99 响应时间。
  • 合规约束:诸如数据驻留等要求可能会排除某些候选方案。

Amazon Bedrock 通过一个 API 提供多种模型系列和规模,因此你可以为每项任务选择合适规模,而无需更改集成方式。Amazon Bedrock Intelligent Prompt Routing 会将每个请求路由到受支持模型系列中合适的模型。Amazon Bedrock Model Distillation 可将知识从较大的模型迁移到更小、更便宜的模型,以适配你的用例。模型提供商会基于广泛的基准评估新的前沿模型,但你的工作负载只是单一任务,且只有一个质量下限。较大的模型可能增加成本和延迟,却无法改善该任务。在切换之前,请根据你的要求评估每次发布,例如在黄金评估集上的质量和你的延迟目标。

将模型选择视为经过测试的配置

生成式 AI 视角建议针对你的真实基准数据测试候选模型,并具备快速更新模型的方法。更进一步,将这一决策视为经过测试的配置:

  • 为每项任务保留一个黄金评估集,其中包含已标注的真实基准,并在持续集成中运行它。
  • 以你的要求作为准入门槛。将低于质量下限的更便宜模型视为回归。
  • 将模型置于配置标志之后,以便你可以撤销切换。
  • 用正确的判定标准进行验证。对照真实基准检查规则。将模型作为评判者的评估保留给开放式输出。
  • 留意漂移。以影子模式通过模型采样一些由规则解决的请求,并在它们不一致时重新分类某个步骤。

付诸实践

将模型容量用在需要判断的地方,其他地方一概不用。你可以通过四个步骤实现这一点:

  1. 插桩 – 将每次调用标记为确定性代码、受限决策调用或模型调用。跟踪每个成功结果的成本。
  2. 将规则移至代码 – 在 AWS Lambda 或 AWS Step Functions 上运行可规则检查的步骤。这通常是最大且最安全的收益。
  3. 添加受限决策调用 – 将固定选项步骤通过一个在不确定时会升级的调用进行路由。
  4. 在切换模型之前进行测试 – 在将每个新模型设为默认之前,先让它通过你的黄金评估集。

结论

在本文中,你了解了如何判断某个工作流步骤是否根本需要模型。规则应放在确定性代码中,固定选项应放在受限决策调用中。开放式工作应交给规模合适的 Amazon Bedrock 模型。目标是在质量下限允许的范围内,以最低的成本和延迟满足每项要求。在问该用哪个模型之前,先问这个步骤是否需要模型。

如需了解更多信息,请参阅 AWS 人工智能博客上的以下文章:

要尝试受限决策调用,请打开 Amazon Bedrock 控制台,或从其 GitHub 仓库部署 Strands Decider。

从一个高流量工作流开始,衡量其中有多少部分从来不需要模型。


关于作者

Meghan Kothari

Meghan Kothari

Meghan 是客户体验与业务趋势团队的高级技术产品经理,他与 AWS 领导层合作开展战略深度分析,以发现智能体 AI 驱动的应用开发和现代化方面不断演变的趋势。他作为解决方案架构师和全栈开发者的背景,赋予了他独特的亲身实践视角,帮助塑造开发者体验。

Krishna Aswani

Krishna Aswani

Krishna 是 Amazon 的高级应用科学家,拥有十多年构建生产环境机器学习系统的经验。他的工作涵盖计算机视觉、自然语言处理、生成建模和大语言模型。在 Amazon,他构建智能体架构,并领导结构化推理框架的研究,使 LLM 更加可靠和可解释。在之前的职业生涯中,他的研究聚焦于神经计算和生物物理学。他与牛津大学和日本 NIMS 合作,构建模拟器和测量系统,以理解信息如何通过大脑微管传播,包括量子效应在这些生物结构中可能发挥的作用。

Pranav Patankar

Pranav Patankar

Pranav 是客户体验与业务趋势团队的科学与工程经理,他与 AWS 领导层合作改善 AWS 上的开发者体验。他的研究聚焦于增强 LLM 和 AI 智能体的推理能力,并使其更加值得信赖。他横跨数据工程、数据科学和应用研究的背景,赋予了他独特的亲身实践视角,帮助塑造开发者体验。

Vineet Kamdar

Vineet Kamdar

Vineet 领导一个多功能团队,评估云、智能体开发者体验和整体客户体验。他领导战略评估和深度分析,以影响快速演变的生成式 AI、智能体开发者和客户体验,涉及智能体编码助手、智能体迁移、模型训练、推理等领域。他拥有 18 年以上的行业经验,以及作为企业级大规模应用的建设者、架构师和产品领导者的深厚背景,这使他处于独特位置,能够评估、衡量、影响和改善开发者、智能体以及整体云客户体验。

来源:AWS Machine Learning Blog · aws.amazon.com