跳到正文
The Pragmatic Engineer· Gergely Orosz·· 6 小时前AI 评分60

软件工程师的推理工程指南:从闭源 API 迁移到开源模型

Inference engineering for software engineers

AI 导读

The Pragmatic Engineer 采访 Modal、Fireworks AI 和 Baseten 三家推理服务商,梳理软件工程师从闭源实验室 API 迁移到开源模型的推理工程实践。

正文 · AI 翻译

我们近期报道的一个趋势是科技公司转向开放模型以控制 AI 支出:Uber 将每 token 成本降低了 50%,Pinterest 降低了 90%,甚至 AT&T 也实现了 56% 的降幅。但如何从前沿实验室的 API 迁移到使用开放模型?有两种选择:

  • “裸金属:”如果有充足的时间和资金,你可以采用“裸金属”方式,购买几十块 NVIDIA GPU 并使用这些 AI 超级计算机,就像 Revolut 所做的那样:自行运行 56 个独立的 B200 单元来满足其推理需求。搭建工作量大,但之后运营成本会降到最低。

  • 推理提供商:大多数公司与推理提供商签约,后者运营着大规模 GPU 集群,让客户能够轻松上手并快速开始使用开放模型。

接入推理提供商来运行 LLM 工作负载会带来一些挑战,例如处理尾部延迟、担心缓存命中率、速率限制等。推理工程是一套工程实践,我们认为软件工程师熟悉它会越来越有益。为了深入这一领域,我们与三家领先的推理提供商进行了交流以了解更多:Modal、Fireworks AI 和 Baseten。今天,我们涵盖:

  1. 什么是推理提供商,它们与 AI 实验室有何不同?它们拥有类似前沿实验室的 GPU 基础设施,不训练自己的前沿模型,并且是托管开放模型的专家。

  2. 何时从前沿实验室切换?最常见的原因是降低成本、更好地控制延迟以及对 AI 模型进行微调。

  3. 选择模型、提供商和部署策略。使用评估来为你的用例找到合适的开放模型,评估供应商,并在多租户 API 使用和专用 GPU 之间做出决定。

  4. 阶段 #1:使用多租户推理设置替换 API。接入推理提供商最简单的方式是将前沿实验室的 API“替换”为推理提供商的 API。但在高负载下可能会遇到延迟问题和缓存问题。

  5. 多租户推理 API 已无法满足需求的迹象。触及速率限制、性能一致性问题以及为使用量支付过高费用,都是可能该采用专用 GPU 的迹象。

  6. 阶段 #2:配置专用 GPU 节点。使用专用 GPU 时,你需要深入了解细节:模型大小、交互性与吞吐量、KV 缓存大小、故障转移选项等。

  7. 推测解码。如果解码阶段有未使用的算力,你可以考虑使用 Speculator 来进一步提升推理性能。

一如既往,我们与本文提到的供应商没有任何关联,也没有因提及任何公司而获得报酬。特别感谢 Richard Gong(Modal 推理负责人)、Dmytro Dzhulgakov(Fireworks 联合创始人兼 CTO)和 Philip Kiely(Baseten 特别项目)分享关于推理工程挑战的细节。

1. 什么是推理提供商,它们与 AI 实验室有何不同?

推理提供商是销售 LLM 访问权限的公司,它们代表用户运行这些模型。从外部看,这与 OpenAI 和 Anthropic 提供的服务差别不大:一个 API 端点、流式输出 token 的能力,以及按 token 使用量付费。

但推理服务提供商与前研实验室的不同之处在于端点背后运行的模型:推理服务提供商运行开放权重模型,而前研实验室训练自己的模型。在这一领域,Modal、Fireworks 和 Baseten 各自采取略有不同的策略:

  • Modal 将自己视为云基础设施提供商,专注于通过其 SDK 让产品具备可编程性。它通过 SDK 原生支持推理服务,但在高效运行推理工作负载方面严重依赖开源生态。对其技术栈的性能调整会合并到上游。用 Modal 推理负责人 Richard Gong 的话说:“当你在 Modal 上运行代码时,你应该能够看到正在运行的所有代码。”

  • Fireworks 将自身定位为面向专业 AI 工作负载的提供商。其大部分业务来自专用部署,通常包括微调和延迟保证。大量微调和后训练可通过自助服务获得。Fireworks 还提供前置部署的研究人员,可协助后训练自定义模型或组件。Fireworks 的 CTO Dmytro Dzhulgakov 表示:“我们的口号是专业化智能,这意味着我们会针对你的特定用例调整从模型到基础设施的一切。”

  • Baseten 将自己描述为构建智能体的一站式平台。它从具备正常运行时间保证、灵活商业条款且无供应商锁定的基础基础设施层开始。Baseten 在其推理平台之上构建了用于构建智能体工作负载的附加层。这些附加层包括沙箱、治理服务以及自助式后训练功能。

对客户而言,推理服务提供商提供的 LLM API 可作为前研实验室 API 的直接替代品。然而,如上所述,推理服务提供商并不相同:

  1. 推理服务提供商不预训练自己的基础模型。前研级别 LLM 的单次预训练运行可能耗资数百万美元,只有超大规模云厂商和专业前研实验室才负担得起。推理服务提供商对开放权重模型进行后训练,因为成本要低得多。

  2. 有竞争力的定价。推理服务提供商的主要业务是以有竞争力的价格提供开放权重模型。

  3. 专用硬件。推理服务提供商的一大吸引力在于能够为用户提供专用硬件,以便在基础设施层与供应商交互。

  4. 效率与定制化。推理服务提供商提供类似的商品化开放模型,并在效率和定制化服务上展开激烈竞争。

作为效率的一个例子,Fireworks 于 2026 年 9 月宣布了其 Ember-1 模型,该模型基于 Kimi K3 基础模型进行后训练,在提供相近质量水平的同时减少了 40% 的推理 token 消耗。消耗远少的推理 token 使 Fireworks 相比原版 Kimi K3 模型在成本上具有优势。

总体而言,前沿实验室的正常运行时间表现较差,这反而帮助推理供应商赢得市场份额。前沿实验室提供的 API 正常运行时间并未达到现代云服务提供商应有的水平:目前,Anthropic 自我声明的正常运行时间为 99.5%,而 OpenAI 的 API 为 99.97%,ChatGPT 为 99.2%。这些数字远低于云服务提供商所期望的四个九(99.99%+)正常运行时间——这是像 AWS 这样的供应商以坚守而闻名的标准。

前沿实验室的 API 正常运行时间。来源:OpenAI、Anthropic。

假设你是一名开发者,目标是为你的应用提供 99.99% 的正常运行时间保证;你无法在服务的关键路径上依赖单一的前沿 LLM 提供商。但在上图中,性能降级时段并未被计为停机时间。由于所有这些 API 都是多租户的,这意味着性能降级会自然影响到某些租户——而他们无法知晓降级的发生,也无能为力。

可靠性是前沿提供商和推理提供商的 LLM 持续存在的问题。尽管许多推理供应商提供比前沿模型更高的可靠性保证,但推理提供商也可能宕机。对于使用推理提供商的公司来说,常见做法是使用带有回退逻辑的 LLM 网关,将请求回退到另一个提供商——或回退到前沿 API。我们在与 Ramp 的深度探讨中研究了这一点,其 LLM 路由器项目正是始于这个确切的问题陈述。

2. 何时从前沿实验室切换?

从前沿 AI 实验室转向独立推理提供商通常由三个因素驱动:成本、控制权以及对更多定制化的需求。

最常见的原因:成本

许多公司开始考虑推理提供商,是因为他们面临紧迫的成本问题。在许多情况下,前沿模型的能力超出大多数请求所需,这意味着对于更简单的任务,一个“更笨”的模型同样出色——而且没人会注意到差别!在这种情况下,工程团队选择将部分请求路由到由推理提供商托管的更便宜的模型,是“显而易见的”选择。

“智能路由”是降低成本的显而易见的方式。LLM 路由器——即“智能路由器”——能够感知提示词,并将 LLM 请求路由到能够解决该请求的最具成本效益的提供商。这种方法推动了 Uber 在今年夏天将每 token 成本降低约 50%。

提供商提供与 OpenAI/Anthropic 兼容的 API 端点,因此切换提供商非常简单。只需将你的应用指向由“智能路由器”运营的新端点即可。

但如何决定服务哪个模型?通用基准测试往往不够充分,因为它们通常无法完全代表团队的流量模式。大多数推理提供商会要求提供提示词样本或评估集,以衡量哪个模型最能服务客户的用例。使用新 LLM 端点的体验类似于使用前沿实验室提供的 API,而 API 调用仍按 token 计费,且通常不存在响应时间 SLA。

对延迟有更多控制权

当你使用前沿实验室的端点时,对响应延迟和模型可用性等运营问题几乎没有控制权。选择推理提供商的专用设置则可以对两者实现完全控制:

  • 延迟:模型响应时间更可预测,因为应用拥有可按使用量扩展的专用容量。

  • 模型可用性:工程师可以在自己的专用 GPU 上运行自己选择的模型,并按需持续运营,避免前沿实验室某天突然更换模型的风险。

微调模型质量:定制化

当推理栈在专用硬件上运行开源模型时,可以与推理提供商合作,按需微调模型质量,从而优化延迟或吞吐性能。Modal 的 Richard Gong 表示,约 10% 的客户会做到这一步,这表明定制化面向的是“高级用户”。

微调模型质量通常出现在两种场景中:

  • 调整较小模型:用参数更少的较小模型达到相近的质量水平。这种性能提升通过现成模型无法实现的性能调整来实现。推理提供商允许你针对特定用例对较小模型进行后训练。经过后训练的小模型在这些专门场景中可以超越原始模型。

  • 为细分用例进行微调。在通用模型不够好时提升质量,通常是因为数据未公开可用。Fireworks 团队表示,例如法律和医疗领域的项目往往能从中受益。

3. 选择模型、提供商和部署策略

大多数推理提供商提供的可运行模型完全相同,差异在于模型性能和质量。例如,模型质量可能因默认上下文长度而异,一些提供商将其限制在模型支持的范围以下。还需要考虑量化,即把模型权重压缩到更低的数值精度,或默认温度,也就是控制输出的随机程度。以下是选择提供商的实用方法:

  1. 模型:选择要切换到的 AI 模型

  2. 提供商:根据模型质量、性能和成本,选择托管该模型的推理提供商

  3. 部署模式:决定使用多租户服务,还是迁移到专用 GPU 节点

选择模型

决定使用哪个模型最显而易见的方法,是针对各种模型选项运行评估集。在最新一期的 The Pragmatic Engineer Podcast 中,微软 CEO Satya Nadella 认为,私有评估未来将成为科技公司知识产权(IP)的重要组成部分。他说:

“公开基准很好,但你的私有评估更重要:你需要针对对自己重要的结果建立自己的评估。然后你观察所有这些模型的性能并持续优化。

我们的客户从前沿模型开始,然后说:‘我已经有了所有这些追踪记录。这是一个确定性工作流,所以我不需要下一个大模型发布。我想优化成本。’他们换入[另一个]模型,用追踪记录对其进行微调——就这样。”

公开基准的一个例子来自 Artificial Analysis,它维护一个评估集,用于比较不同模型在通用任务上的成本。以下是按模型细分的每任务平均成本:

Artificial Analysis 每任务智能指数成本。来源:Artificial Analysis

假设你在 Anthropic 的 Sonnet 5.5 模型之上构建了一个应用,在该指数中平均每任务成本为 5.46 美元。如果 Kimi K3 足以满足这一用例,那么该模型运行成本约低 60%,每任务仅需 2.00 美元。请注意,这里的成本比较是按任务计算,而非按 token 计算。这是合理的,因为不同模型完成任务所需的 token 数量不同,如果没有你自己的私有评估,就很难比较模型成本!

话虽如此,判断一个模型是否足够好,需要的不仅仅是查看公开基准测试结果。理想情况下,应有一个评估集来比较模型。若没有,运行 A/B 实验是一个不错的替代方案。例如,如果你想将智能体编码工作流切换到某个推理提供商,你可以简单地让一些工程师使用新模型,并对结果给出反馈。

选择提供商

所有提供商都会对开放模型进行调整,以在不显著降低质量的前提下榨取更多性能。因此,不同提供商的模型输出和质量存在差异。比较提供商模型准确性的一个有用工具是 Artificial Analysis 的端点准确性指数。该分数将各推理提供商的结果与其自托管版本进行基准对比。指数值为 100% 意味着该提供商的结果与 Artificial Analysis 自己托管的模型相同。

Kimi K3 在各提供商处的端点准确性。来源:Artificial Analysis

端点准确性大体相似,各提供商的分数在 93% 到 102% 之间。差异来自推理提供商对其开放模型版本所做的性能和质量调整。由于 LLM 具有非确定性,该测量具有 95% 的置信区间——这为评估又增加了一层复杂性。较小的分数差异被视为与 Artificial Analysis 参考模型处于同一水平,因此技术上低于 100% 的条形也被标为绿色。

部署模式:多租户还是专用?

所有提供商的服务都包括多租户 API,以及用于运行 LLM 的专用 GPU。这种部署演进通常是一条毕业路径:大多数部署最初是作为前沿实验室 API 的即插即用替代品,随着使用量增长,它们开始转向专用基础设施。

切换到由推理提供商托管的开放模型时,每 token 成本会下降。然而,你仍然运行在多租户环境中,这会带来与使用前沿模型 API 端点时类似的性能瓶颈。区别在于,使用推理提供商时,你可以迁移到专用托管环境,并完全控制部署的性能。拥有自己的部署(通过推理提供商控制 GPU)使得通过后训练等技术微调模型质量成为可能。

从多租户 API 到专用 GPU 的典型毕业路径

使用 LLM 的初创公司最典型的路径:

  1. 使用前沿实验室的 API 端点

  2. 转向使用开放模型,使用推理提供商的 API 端点

  3. 从推理提供商处租用专用 GPU

推理提供商用户的三阶段毕业路径

迁移到推理提供商通常与实现某种程度的产品市场契合相伴。我们交谈过的三家推理提供商都告诉我们,当客户通过进入“阶段 1”(见下文)完成注册时,他们的产品已经在市场上获得了关注。只有当用户活动达到相当规模时,按 token 计费的成本才会变得重要。

使用专用 GPU 的“阶段 2”意味着可观的预算承诺、更成熟的产品以及大规模的使用量。

获取推理容量:鉴于全球 GPU 短缺,这可能很棘手!我们之前报道过云提供商内部存在 CPU 短缺——因此,GPU 短缺更为紧迫也就不足为奇了。即便是大型推理提供商也难以获得所需的全部 GPU。我们交谈过的推理提供商都运行在多家云提供商之上——有些还管理自己的裸金属服务器——正是为了尽可能获取更多容量。获取更多 GPU 的访问权限,使得跨多云运行带来的额外运维复杂性变得值得。能够快速接入拥有闲置容量的新云提供商,正成为该行业的关键差异化因素。

如果你需要专用 GPU,要知道这很可能价格不菲。容量稀缺是获取专用部署通常需要预先做出长期预算承诺的原因之一。简而言之:你需要支付更大的金额,并承诺在更长的时间范围内为这些 GPU 付费。

4. 阶段 #1:API 替换,使用多租户推理设置

对于 LLM 账单高昂的团队来说,降低成本最简单的方法是将 Claude Code、Codex、OpenCode 中的前沿实验室模型替换为前沿水平的开放模型。查看 OpenCode 和 OpenRouter 的数据,目前工程团队最热门的选择包括 DeepSeek 4.1 Flash、GLM 5.3,以及 Kimi K3.1 Pro 等其他模型。

执行替换最简单的方法是将应用程序指向推理提供商提供的 API。在实践中,这意味着使用多租户 API,其他客户会访问同一个端点,类似于使用前沿实验室的 API 端点。起初一切都会很好,但随后你可能会遇到首 token 延迟(TTFT)、缓存相关成本以及延迟问题。

这些也是使用前沿实验室 API 时会遇到的问题,区别在于,使用推理提供商时,可以选择通过迁移到专用部署来解决其中大部分问题。

延迟问题:TTFT、推理时间、用户体验到的延迟

首 token 时间衡量的是从请求到达 LLM API 的那一刻起,到客户端开始接收首批 token 所需的时间。TTFT 延迟的分布具有长尾特征:

TTFT 延迟分布的示意形状。来源:Baseten。

右侧长尾意味着相当比例的请求具有中位数延迟的两倍或更长。因此,在测量延迟时,p95/p99 延迟与 p50 延迟同样重要。TTFT 可以在两个地方测量:

  • 推理时间:提供商插桩的 TTFT 显示纯推理时间。一些提供商在仪表板上向客户展示此指标,而一些则将其包含在响应中。前沿实验室通常两者都不做。

  • 用户体验延迟:客户端埋点测量的 TTFT 反映的是完整的用户体验延迟,包括网络传输、TLS 握手等环节。

服务端推理只是应用用户等待响应总时间中的一个部分。要真正实现用户延迟的快速 p95 表现,最好考虑在 LLM API 消费端进行连接池等优化。

在共享基础设施上提供 LLM API 时,推理提供商会运行许多份 LLM 推理引擎副本来服务客户请求。单个推理引擎可以并发处理多个请求。当并发请求数超过当前副本容量时,就会创建新的副本。副本的扩缩容是纯推理 TTFT 延迟波动如此之大的原因之一。

TTFT 波动的其他原因:

  1. “吵闹邻居”效应:一个请求与另一个处理成本更高的请求被分到同一批次,因此耗时比它与相似请求同批处理时更长。

  2. 冷启动:当现有副本没有容量时,请求会在队列中等待。推理提供商正在创建新副本,但这并非瞬时完成,因此请求必须等到新副本可用(即新副本从“冷”的离线状态启动完成)。

  3. 冷缓存:首次发送大请求时,它可能落到一个未加载相关 KV 缓存的副本上(缓存是“冷”的——与 KV 缓存已填充的“热缓存”相反)。推理提供商通常会尽量让请求粘滞到同一副本,以保持该副本的 KV 缓存处于热状态。有时这无法做到,因为你的缓存已过期,或者请求落到了没有相关 KV 缓存的副本上。此时 KV 缓存要么从冷存储中复制(如果可用),要么在无法复制的情况下,必须先完整处理,才能生成第一个 token。

提示缓存利用率对基于 LLM API 构建应用的工程师来说是可观测且可操作的。你可以从 OpenAI completions API 的响应中获取提示缓存利用率指标。构建能有效利用提示缓存的应用是提升应用性能的关键技术,因此值得深入研究。

缓存问题:成本与延迟

如今大多数主流 LLM API 端点都是无状态 REST API,其灵感来自 OpenAI 的 chat completions API。

LLM 端点是无状态的,这带来了问题,因为大多数 LLM 用例都是有状态的。Fireworks 联合创始人兼 CTO Dmytro Dzhulgakov 称将 API 设为无状态的决定是“原罪”,因为虽然客户端应用表现得像是在与无状态 API 通信,但提供商却要承担在分布式环境中确保高效缓存机制的负担。

下面用一个例子说明无状态 API 带来的问题:一个包含用户输入、LLM 提示和智能体上下文层的应用:

阅读更多

来源:The Pragmatic Engineer · newsletter.pragmaticengineer.com