跳到正文
AWS Machine Learning Blog· Alan Yao·· 2 小时前AI 评分41

Airbnb 如何用每任务成本在 Amazon Bedrock 上运营编码智能体

How Airbnb uses cost per task to operate coding agents on Amazon Bedrock

AI 导读

Airbnb 通过自建 LLM 网关将 AirChat 编码智能体的模型请求接入 Amazon Bedrock,并用“每任务成本”指标指导模型选型。其评估体系为每个模型和每档推理强度同时测量任务得分与每任务成本,据此设定默认模型和推理强度上限。上线后结合 CloudWatch 的延迟、限流和 token 消耗指标与评估结果对照,判断何时调整默认配置。

正文 · AI 翻译

Amazon Bedrock 通过统一 API 提供来自多个提供商的基础模型,并由 AWS 管理模型基础设施。它与 AWS 的访问控制和监控集成,并在 AWS 内处理提示词、代码和模型响应。

随着编码智能体进入生产环境,模型和使用情况的变化可能影响延迟、容量和成本。Amazon CloudWatch 中的 Amazon Bedrock 运行时指标可帮助团队调查延迟上升、限流和 token 消耗变化。评估(evals)通过在一组固定的代表性任务上评估智能体工作质量,补充这些运营指标。

本文介绍 Airbnb 如何为编码智能体评估模型,并监控它们在 Amazon Bedrock 上的使用情况。我们说明每任务成本如何指导模型选择,以及生产数据如何帮助我们在使用情况变化时重新审视这些选择。我们还描述用于调查延迟、限流和支出的运行时信号。

在 Airbnb,数千名工程师及工程相关人员每周使用 AirChat——我们用于运行编码智能体的内部工具。智能体通过我们运行在 Amazon Bedrock 上的大语言模型(LLM)网关发送模型请求。Bedrock 在 AWS 内处理 Airbnb 的代码、提示词和模型响应。约五周内发布了八个新模型。到 10 月中旬,我们的工程师通过编码智能体发送的请求中约三分之二流向了这些新模型。

每次发布都可能同时改变输出 token、成本、延迟和容量,而发布时公布的基准图表并不能展示模型如何处理我们工程师的工作。因此我们并行运行两套系统。在推广之前,我们在自己的任务上运行评估,以衡量每个模型的得分和每任务成本。每任务成本是智能体完成一项任务所用全部 token 的标价成本。

推广之后,可观测性向我们展示生产环境中发生了什么变化。当生产使用情况与评估结果不一致时,我们会找出原因。

解决方案概述

你可以用 CloudWatch 中 AWS/Bedrock 命名空间里的几个信号诊断大多数生产问题:

  • 延迟:InvocationLatency、TimeToFirstToken、OutputTokenCount 以及你推导出的每秒输出 token 数(OTPS)。
  • 限流:InvocationThrottles,加上每个请求针对你的配额预留的 token 数(由你自行发布)。Bedrock 还发布 EstimatedTPMQuotaUsage,该指标衡量你估算的每分钟 token(TPM)配额消耗,包括缓存写入 token 和输出消耗乘数,覆盖所有推理 API(Converse、InvokeModel、ConverseStream 和 InvokeModelWithResponseStream)。你可以使用该指标在达到配额上限前设置主动告警,跟踪各模型的配额消耗,并在使用受到限流前申请进一步提高配额。
  • 成本:InputTokenCount(未缓存输入)、CacheReadInputTokenCount、CacheWriteInputTokenCount 和 OutputTokenCount,各自按其费率计价。缓存读取的成本低于未缓存输入,缓存写入的成本可能更高,具体取决于模型。较低的缓存命中率可能增加每请求成本。

在这些指标之上,我们增加了每任务成本。我们的评估为我们允许的每个模型和每种推理强度衡量得分和每任务成本。推理强度是一项设置,控制模型在响应前进行多少推理。我们用结果来选择每个默认值,即我们的编码工具使用的模型和强度(除非工程师另选),以及每个强度上限,即我们为某个模型允许的最高强度。

架构

工程师们在 AirDev 工作区上运行 AirChat,这些工作区是云端的个人开发机器。他们还可以把任务交给 AirChat Remote,后者在独立的云工作区中运行云端代理,而工程师则去做其他事情。这两条路径都通过我们的 LLM 网关访问 Amazon Bedrock。

图 1 展示了 AirChat 和 AirChat Remote 如何通过我们的网关访问 Amazon Bedrock。它还展示了评估和生产监控如何指导模型默认值和努力上限。

AirChat and AirChat Remote reach Amazon Bedrock through Airbnb’s gateway, with CloudWatch metrics and eval results setting model defaults and effort ceilings

图 1:编码代理和云端代理通过我们的 LLM 网关调用 Amazon Bedrock。我们的使用记录和 CloudWatch 指标显示真实使用情况,我们使用评估结果来设定默认值和努力上限

网关记录每个请求的模型、客户端、团队和用户。我们仅以汇总方式使用这些记录,用于成本和容量规划。CloudWatch 提供 token 计数、延迟、错误和限流数据。我们将这些生产信号与评估分数和每任务成本进行比较,以决定何时需要更改默认值或努力上限。

先决条件

在 AWS 侧,你需要:

  • 访问你计划运行和评估的 Amazon Bedrock 中的模型。有关按 AWS 区域划分的模型可用性,请参阅 Amazon Bedrock 用户指南中的按模型划分的区域可用性。
  • 通过 ConverseStream 或 InvokeModelWithResponseStream 进行流式调用。Bedrock 仅为流式 API 发布 TimeToFirstToken。
  • 在你调用的每个 AWS 区域中开启模型调用日志记录。该功能默认关闭。日志可能包含完整提示和响应以及调用者身份,因此请限制可读取日志的人员并设置保留期限。

为调用者标记 IAM 角色,并激活成本分配标签。在开始收集之前激活它们,因为激活不会回溯之前的成本。

你还需要自己准备三样东西:

  • 一组来自你自己工程工作的任务。为每个任务提供起始仓库状态、工程师会编写的提示以及你信任的评分器。评分器是对代理工作进行评分的程序或模型。我们根据真实代码变更、对这些变更的审查评论以及原始工单未明确说明的决策来构建任务。步骤 2 展示了一个示例。
  • 在 Bedrock 前面设置一个网关或代理,记录每个请求的模型、客户端、团队、用户和 token 计数。
  • 一张你运行的每个模型的公开标价表,每条记录都带有日期,以便你以相同基准为评估 token 和生产 token 定价。

在推广之前,定义代理可以访问的内容以及哪些操作需要人工审查。在隔离的工作区中运行代码,并在合并前测试生成的变更。Amazon Bedrock Guardrails 可以帮助过滤提示和响应中的有害内容和敏感信息。对于基于所提供参考材料的响应,上下文接地检查可以标记不受支持的声明。在你自己的任务上测试这些控制措施,并将它们的延迟和成本纳入你的测量中。

演练

首先测量完成一个完整任务的成本。然后使用这些结果来选择模型默认值、检查生产行为、管理容量并归因支出。

步骤 1:完成一个任务需要多少成本?

编码代理需要发出许多请求才能完成一个任务,并且在每个请求中,模型都会重新读取到目前为止的上下文。因此我们为整个任务定价。

Bedrock 会为每个请求报告四种 token:未缓存输入、缓存读取、缓存写入和输出。在一次评测运行中,我们为每个请求对这四种 token 计价,并把任务中的请求数累加。本文中的每项成本都使用该次运行日期对应的公开标价。我们在每个模型、推理强度和智能体客户端的得分旁记录平均成本,且平均值包含低分尝试。

推理强度会同时改变得分和成本。在我们测试的一个模型上,从低强度提升到高强度使得分提高了 0.8 分。每个任务的成本是原来的 2.5 倍。我们用这些结果来设定强度上限,由网关强制执行。

第 2 步:你能多快评测一个新模型?

在新模型发布的那天下午,向我们的智能体发送一个请求就启动了一次评测活动,让新模型跑遍我们所有的任务套件。一个套件是一组固定类型的任务,我们共有七个套件。智能体将数百个任务分散到各个套件和多个云工作区中,每个结果在评分器打分后立即出现。首批结果在数小时内到达。到第二天早上,每个套件都有了得分和每任务成本,我们已具备为整个组织做出部署决策所需的信息。

这种速度依赖于已经写好的任务。每个任务是一个文件夹,包含一次运行所需的一切。以下是我们机器学习工作中一个精简后的任务:

honest-holdout-bakeoff/
  instruction.md     what the agent is told
  task.toml          time limit, CPUs and memory
  environment/       Dockerfile for the sandbox
  tests/test.sh      runs the grader and writes the reward
  tests/grader.py    the checks
  solution/          a reference solution that must pass the grader

instruction.md (excerpt):
  We have two candidate models for a prediction task, and we need to
  know which one to ship.
  ...
  Then answer the question we actually have to decide: is either
  candidate worth rolling out over the system already in production?

评分器在每次运行时都会根据冻结数据重新计算正确答案,只有当所有检查都通过时,智能体才能获得 1 的奖励。要测试一个模型在所有强度下的表现,请在作业配置中将每个强度列为单独的智能体:

job_name: model-a-effort-sweep
n_attempts: 1                # one attempt per task at each effort
datasets:
  - path: tasks/ml           # each task brings its own grader
agents:
  - name: model-a-low
    model_name: vendor/model-a
    kwargs: {reasoning_effort: low}
  - name: model-a-medium
    model_name: vendor/model-a
    kwargs: {reasoning_effort: medium}
  - name: model-a-high
    model_name: vendor/model-a
    kwargs: {reasoning_effort: high}

两个示例都使用 Harbor 的格式,这是一个用于在沙箱中运行智能体评测的开源框架。如果你刚开始,它是一个可选方案。

运行评测可以优化。编写评分标准——评分器遵循的评分指南——是最难的部分。我们的长任务会运行多轮,轮次之间有模拟评审员提出质疑。模型评分器按八个加权维度为每次运行打分。每个维度的得分为 0 到 3。

Correctness of delivery   25     Judgment                 10
Verification quality      15     Evidence and reporting   10
Autonomy                  15     Readability              10
Design and workload fit   10     Operational discipline    5

Ceiling: if the reviewer had to rescue the agent repeatedly
(autonomy 0 or 0.5), the total is capped at 25 of 100.

由于这样的上限,一个需要被救援的智能体无法仅靠打磨获得高分。

第 3 步:上线后你要关注什么?

当延迟上升时,在提交支持工单之前先查看三个信号:TimeToFirstToken 表示生成开始前的等待时间,OutputTokenCount 表示响应长度,OTPS 表示生成速度。Bedrock 没有原生 OTPS 指标。你需要通过指标数学来推导它,如 Amazon Bedrock 用户指南 所述:

OTPS = OutputTokenCount / (InvocationLatency - TimeToFirstToken) * 1000

在我们会话的示例中,延迟上升了 40%,而首 token 时间和 OTPS 保持不变。有人修改了系统提示词,要求更详尽的回答,导致每个请求的输出 token 增加了 50%。模型以相同的速度生成,但写出的响应更长。将提示词变更和模型升级视为部署,并在仪表板上标记它们。

每周,我们会将 CloudWatch 运行时指标与网关中每个模型的使用记录并列查看。对于成本和容量规划,我们还会查看汇总使用情况:每个请求的成本以及每周每用户的平均请求数。新模型可能同时改变这两者。每次上线后,我们会将它们与评测中每任务成本的预期进行比较。

第 4 步:评测看起来不错。生产环境显示了什么?

我们称之为模型 A 的一个模型在我们的评估中表现良好。在我们的编码任务上,它的得分比我们之前最好的模型高出三分以上。每个任务的成本大致相同,而且同一个评分器为每个模型打分。我们将其推出,将 effort 上限设为 high,并要求人们在大多数工作中使用 low 或 medium。

上线几周后,我们按标价计算了模型 A 的生产使用成本,并进行了汇总分析。模型 A 的每用户平均每周支出比前一个模型高出数倍。模型 A 的每个请求成本约为三倍,而模型 A 用户的平均请求量也约为三倍。

输出 token 仅占请求成本的十分之一。大部分成本来自缓存上下文,模型在每次请求时都会重新读取它。模型 A 可以长时间自主工作,因此人们开始用它进行长时间的自主会话。

评估衡量的是模型在任务上的表现。生产环境衡量的是人们选择如何与它协作。

后来,一个更新的模型在相同任务和评分器上得分高于模型 A,每个任务的成本约为其六分之一。我们通过配置更改将模型 A 的用户迁移到了它上面。

然后,我们在同一用户群体(模型 A 的重度用户)上汇总检查了这一变化。在切换到更新模型后的第一个完整周,该群体向其主模型发送的请求数量大致相同,而该群体在该模型上的支出降至约七分之一。

第 5 步:为什么你会被限流,以及流量接下来会流向哪里

在 bedrock-runtime 端点上,Bedrock 在请求到达时、模型写入任何内容之前检查你的每分钟 token 配额。它会预留你的未缓存输入 token 和缓存写入,再加上 max_tokens,即该请求允许的最大输出量。随着模型生成,它会调整该预留量,并在请求结算时返还未使用的部分。缓存读取从不计入配额,因此一个请求可能对你的配额来说很便宜,但在你的账单上很昂贵。输出 token 按消耗速率结算,在大多数模型上为 1:1,而在一些当前模型上为数倍,因此请查看你的模型的速率。

计费 token 的仪表板可能显示还有余量,而请求却正在被限流。在我们会话的示例中,配额为每分钟 100 万 token,流量为每分钟 300 个请求。仪表板显示约 30% 的配额。应用 5:1 的输出 token 消耗速率后,已完成的请求消耗了约 77%。

准入使用不同的计算方式。每个请求最初预留 600 个未缓存输入 token 加上 max_tokens 的 4,096,总计 4,696 个 token。响应在 p99 时约为 800 个 token。

将 max_tokens 降低到 1,024 后,初始预留量降至 1,624 个 token,减少了约 65%。该限制仍高于 p99。对于未更改的输入和输出,最终配额消耗保持不变。较小的预留量留下了更多准入请求的空间。监控 stopReason 以捕获被截断的响应。使用退避和抖动,并限制重试次数。

需求也可能超出你在任何单一模型上的余量。你需要在需要之前就知道工作可以流向哪里,而我们的评估回答了这个问题。答案可能是来自另一个模型系列的模型。对于我们使用的每个主要模型,我们至少保留一个等效模型,它在我们的评估中表现同样出色,并且我们可以将负载均衡到它上面。没有这些评估,选择工作流向哪里就会是猜测。

如果某个模型的余量持续紧张,我们可以通过更改配置中的默认值来重新平衡。首先要确认等效模型有余量承接额外负载,并且你的配额足以覆盖。同时也要让它保持足够的流量以维持访问权限:模型进入 Legacy 期后,现有客户若连续 15 天不活跃,可能会失去访问权限。Legacy 模型会一直工作到生命周期结束,之后 Bedrock 会将其从所有区域移除,对它的请求会失败,且 Bedrock 不会自动迁移你的流量。当 LegacyModelInvocations 升到零以上时触发告警。

第 6 步:这是谁的花费?

Bedrock 运行时指标按 ModelId 划分维度,因此你能看到是哪个模型处理了请求,但看不到是哪个团队发出的。Bedrock 发布这些指标时,有的带 ModelId 维度,有的不带;在 Bedrock 解析出模型之前就失败的请求只会出现在不带该维度的序列中,因此按 ModelId 过滤会少算错误。Bedrock 提供三种归因花费的方式:

  • 哪个团队或用户?Bedrock 会在每个请求上记录调用方的 IAM 身份。为你的角色打标签,或传递会话标签,即可在 AWS Cost Explorer 和 AWS 成本与使用报告(CUR 2.0)中按标签查看成本。
  • 哪个应用?应用推理配置文件是特定于模型的,因此为每个应用和模型的组合创建一个带标签的配置文件,并调用匹配配置文件的 ARN。
  • 哪个功能或提示词?在 Converse 上的 requestMetadata 中传入键值对。Bedrock 会将它们写入模型调用日志,但不会计入账单。要计算其成本,请将日志中的 token 数乘以公布的价格。经典 CUR 和 CUR 2.0 都不携带按请求的 ID,因此请按模型、使用类型和时间段比较总计来对账。

在网关之后,Bedrock 看到的是网关的角色,因此让网关为每个用户代入一个角色,并带有各自的 RoleSessionName 或会话标签。为会话缓存这些凭证,因为每个请求都代入角色可能会超出你的 AWS Security Token Service(AWS STS)速率配额。归因失效时请求仍会继续成功,因此要设置告警,在 Bedrock 无法交付调用日志时触发。

我们的使用记录让我们可以按模型、客户端、团队和用户归因使用量,我们仅将其汇总用于成本和容量规划。我们根据同样的四个 token 计数计算每个任务的成本,因此可以比较评估与生产之间的 token 构成和成本。

结果

我们可以在一夜之间完成从模型发布到部署决策。在一次上线后,模型 A 上每用户的平均每周花费是上一模型的数倍。我们将其重度用户迁移到了更新的模型。在他们第一个完整周,该组在其主模型上的花费降至约七分之一,请求数大致相同。对于我们使用的每个主要模型,我们的评估都会找出一个可以重新平衡到的等效模型。

清理

测试完成后,停止你启动的评估作业和代理进程。如果你仅为本次演练启用了模型调用日志,请在每个区域使用 DeleteModelInvocationLoggingConfiguration 将其禁用。

在调用方不再使用它们后,使用 DeleteInferenceProfile 删除你创建的应用推理配置文件。移除仅为本次演练创建的 IAM 角色、策略和资源标签。停用仅用于这些测试的成本分配标签。删除不再需要的测试 CloudWatch 日志组和 S3 日志对象。

结论

每次模型发布时,我们都会运行四项检查:

  • 发布日:在每档 effort 下用新模型跑你自己的任务,并同时记录每个任务的得分和成本。
  • 上线前:根据这些数字选择默认 effort 和上限 effort。任何成本更高且得分低于更低 effort 的 effort 都要屏蔽。
  • 最初几周:将每请求成本和每用户平均请求数与评测的每任务成本进行比较,两者都基于同样的四个 token 计数来计价。
  • 在需要之前:了解哪些模型在你的评测中得分相同(来自任何模型系列),并在重新平衡之前检查它们的容量和你的配额。

我们选择 Amazon Bedrock,是为了通过一个 API 访问多个模型系列。它让我们能够使用现有的 AWS 访问控制和日志记录,同时由 AWS 管理模型基础设施。我们用评测为工作选择模型,用可观测性来了解这些选择何时需要重新审视。

如需进一步了解,请参阅 Amazon Bedrock 用户指南中的以下页面:


关于作者

Alan Yao

Alan Yao

Alan 是 Airbnb 的高级主任软件工程师,负责领导 AI 辅助工程的模型评估工作。他构建了衡量每个模型每任务得分和成本的评测。Airbnb 用这些评测来选择工程师默认获得的编码模型和推理 effort。

Rashim Gupta

Rashim Gupta

Rashim 是 Amazon Bedrock 团队的高级产品管理经理。他的团队构建 Web Search、Observability、Spend Control 和 Governance 等服务功能。

Jayadev Vadakkanmarveettil

Jayadev Vadakkanmarveettil

Jayadev 是 Amazon Bedrock 团队的首席产品经理。他从事推动增长的项目,并负责配额和容量管理的产品体验。

Sang Kong

Sang Kong

Sang 是 AWS 的首席解决方案架构师。他帮助战略客户部署可扩展、有弹性且成本优化的解决方案。他常驻北加利福尼亚,喜欢与家人一起长途徒步,并创作氛围音乐音景。

来源:AWS Machine Learning Blog · aws.amazon.com