Pragmatic Engineer 解读软件工程师的推理工程:从前沿实验室 API 迁移到开源模型
Pragmatic Engineer 采访 Modal、Fireworks AI 和 Baseten 三家推理提供商,讲解软件工程师如何从前沿实验室 API 迁移到开源模型。
Pragmatic Engineer· Gergely Orosz·2026-11-18 00:11· 1 小时前AI 评分66
面向软件工程师的推理工程
AI 导读
Pragmatic Engineer 采访 Modal、Fireworks AI 和 Baseten 三家推理提供商,讲解软件工程师如何从前沿实验室 API 迁移到开源模型。
正文 · 原文
我们近期报道的一个趋势是科技公司转向开源模型以控制 AI 支出:Uber 将每 token 成本降低了 50%,Pinterest 降低了 90%,甚至 AT&T 也实现了 56% 的降幅。但如何从前沿实验室的 API 迁移到使用开源模型?有两种选择:
“裸金属:”如果有充足的时间和资金,你可以走“裸金属”路线,购买几十块 NVIDIA GPU 并使用这些 AI 超级计算机,就像 Revolut 所做的那样:自行运行 56 个独立的 B200 单元来满足其推理需求。搭建起来工作量很大,但之后运营成本会降到最低。
推理提供商:大多数公司与推理提供商签约,后者运营着大规模 GPU 集群,让客户能够轻松上手并快速开始使用开源模型。
接入推理提供商来运行 LLM 工作负载会带来一些挑战,例如处理尾部延迟、担心缓存命中率、速率限制等。推理工程是一套工程实践,我们认为软件工程师熟悉它会越来越有裨益。为了深入探讨这一领域,我们与三家领先的推理提供商进行了交流:Modal、Fireworks AI 和 Baseten。今天,我们涵盖以下内容:
什么是推理提供商,它们与 AI 实验室有何不同?它们拥有与前沿实验室类似的 GPU 基础设施,不训练自己的前沿模型,并且是托管开源模型的专家。
何时从前沿实验室切换?最常见的原因是降低成本、更好地控制延迟以及对 AI 模型进行微调。
选择模型、提供商和部署策略。使用评估来为你的用例找到合适的开源模型,评估供应商,并在多租户 API 使用和专用 GPU 之间做出决定。
阶段 #1:使用多租户推理设置替换 API。接入推理提供商最简单的方法是将前沿实验室的 API“替换”为推理提供商的 API。但在高负载下可能会遇到延迟问题和缓存问题。
多租户推理 API 已无法满足需求的迹象。触及速率限制、性能一致性问题以及为使用量支付过高费用,都是可能该采用专用 GPU 的迹象。
阶段 #2:配置专用 GPU 节点。使用专用 GPU 时,你需要深入细节:模型大小、交互性与吞吐量的权衡、KV 缓存大小、故障转移选项等。
投机解码。如果在解码阶段有未使用的算力,你可以考虑使用 Speculator 来进一步提升推理性能。
一如既往,我们与本文提到的供应商没有任何关联,也没有因提及任何公司而获得报酬。特别感谢 Richard Gong(Modal 推理负责人)、Dmytro Dzhulgakov(Fireworks 联合创始人兼 CTO)和 Philip Kiely(Baseten 特别项目)分享推理工程挑战的细节。
本文底部在某些电子邮件客户端中可能被截断。在线阅读完整文章,不受干扰。
1. 什么是推理服务提供商,它们与 AI 实验室有何不同?
推理服务提供商是销售 LLM 访问权限的公司,它们代表用户运行这些模型。从外部看,这与 OpenAI 和 Anthropic 提供的服务并无太大区别:一个 API 端点、流式输出 token 的能力,以及按 token 用量付费。
但推理服务提供商与前缘实验室的不同之处在于端点背后运行的模型:推理服务提供商运行开放权重模型,而前缘实验室训练自己的模型。在这一领域,Modal、Fireworks 和 Baseten 各自采取略有不同的策略:
Modal 将自己视为云基础设施提供商,专注于通过其 SDK 使产品可编程。它通过 SDK 原生支持推理服务,但在高效运行推理工作负载方面严重依赖开源生态系统。对其技术栈的性能调整会合并到上游。用 Modal 推理负责人 Richard Gong 的话说:“当你在 Modal 上运行代码时,你应该能够看到正在运行的所有代码。”
Fireworks 将自己定位为专业 AI 工作负载的提供商。其大部分业务来自专用部署,通常包括微调和延迟保证。许多微调和后训练可自助使用。Fireworks 还提供前驻研究人员,可协助后训练自定义模型或组件。Fireworks 的 CTO Dmytro Dzhulgakov 表示:“我们的口号是专业化智能,这意味着我们将针对你的特定用例调整从模型到基础设施的一切。”
Baseten 将自己描述为构建智能体的一站式平台。它从具有正常运行时间保证、灵活商业条款且无供应商锁定的基础基础设施层开始。Baseten 在其推理平台之上构建了用于构建智能体工作负载的额外层。这些额外层包括沙箱、治理服务以及自助式后训练功能。
对客户而言,推理服务提供商提供的 LLM API 可作为前缘实验室 API 的直接替代品。然而,如上所述,推理服务提供商并不相同:
推理服务提供商不预训练自己的基础模型。前缘级 LLM 的单次预训练运行可能花费数百万美元,只有超大规模厂商和专业前缘实验室才能负担得起。推理服务提供商对开放权重模型进行后训练,因为成本要低得多。
有竞争力的定价。推理服务提供商的主要业务是以有竞争力的价格提供开放权重模型。
专用硬件。推理服务提供商的一大吸引力在于能够为用户提供专用硬件,以便在基础设施层与供应商交互。
效率与定制化。推理服务提供商提供类似的商品化开放模型,并在效率和定制化服务上展开激烈竞争。
作为效率的一个例子,Fireworks 于 2026 年 9 月发布了其 Ember-1 模型,该模型基于 Kimi K3 基础模型进行后训练,质量水平相近,但消耗的推理 token 减少了 40%。消耗的推理 token 大幅减少,使 Fireworks 相比原生 Kimi K3 模型在成本上更具优势。
总体而言,前沿实验室的可用性较差,这有助于推理供应商赢得市场份额。前沿实验室提供的 API 可用性未达到现代云服务提供商的预期水平:目前,Anthropic 自行声明的可用性为 99.5%,而 OpenAI 的 API 可用性为 99.97%,ChatGPT 为 99.2%。这些数字远低于云服务提供商所期望的四个九(99.99% 以上)可用性——而这正是 AWS 等供应商以坚守著称的标准。

设想你是一名开发者,目标是为你的应用提供 99.99% 的可用性保证;你无法在服务的关键路径上依赖单一的前沿 LLM 提供商。但在上图中,性能下降时段并未被计为停机。由于所有这些 API 都是多租户的,这意味着性能下降会自然影响到部分租户——而他们无从知晓性能下降,也无能为力。
可靠性是前沿提供商和推理提供商的 LLM 持续存在的问题。尽管许多推理供应商提供比前沿模型更高的可靠性保证,推理提供商也可能宕机。对于使用推理提供商的公司来说,常见做法是使用带有回退逻辑的 LLM 网关,回退到另一家提供商——或回退到前沿 API。我们在与 Ramp 的深度探讨中研究了这一点,其 LLM 路由器项目正是始于这一确切的问题陈述。
2. 何时从前沿实验室切换?
从前沿 AI 实验室转向独立推理提供商通常由三个因素驱动:成本、控制以及对更多定制化的需求。
最常见的原因:成本
许多公司开始考虑推理提供商,是因为它们面临紧迫的成本问题。在许多情况下,前沿模型的能力超出大多数请求所需,这意味着一个“更笨”的模型对于更简单的任务同样出色——而且没人会注意到差别!在这种情况下,工程团队选择将部分请求路由到由推理提供商托管的更便宜的模型,是“显而易见”的选择。
“智能路由”是降低成本的显而易见的方式。LLM 路由器——即“智能路由器”——能够感知提示词,并可将 LLM 请求路由到能够解决该请求的最具成本效益的提供商。这种方法推动了 Uber 在今年夏天将每 token 成本降低约 50%。
提供商提供兼容 OpenAI/Anthropic 的 API 端点,因此切换提供商非常简单。只需将你的应用指向由“智能路由器”运营的新端点即可。
但如何决定部署哪个模型?通用基准测试往往不够,因为它们通常无法完全代表团队的流量模式。大多数推理服务提供商会要求提供提示样本或评估集,以判断哪个模型最适合客户的用例。使用新的 LLM 端点的体验类似于使用前沿实验室提供的 API,而 API 调用仍按 token 计费,且通常不存在响应时间 SLA。
对延迟有更多控制
使用前沿实验室的端点时,对响应延迟和模型可用性等运维问题几乎没有控制权。选择推理服务提供商的专用部署则能完全控制这两者:
延迟:模型响应时间更可预测,因为应用拥有可按使用量扩展的专用容量。
模型可用性:工程师可以在自己的专用 GPU 上运行所选模型,并按需持续运营,避免前沿实验室某天突然更换模型的风险。
微调模型质量:定制化
当推理栈在专用硬件上运行开源模型时,可以与推理服务提供商合作,按需微调模型质量,从而优化延迟或吞吐性能。Modal 的 Richard Gong 表示,约 10% 的客户会做到这一步,这表明定制化面向的是“高级用户”。
微调模型质量通常出现在两种场景中:
调整较小模型:用参数更少的较小模型达到相近的质量水平。这种性能提升通过现成模型无法实现的性能调整来达成。推理服务提供商允许你针对特定用例对较小模型进行后训练。经过后训练的小模型在这些专门场景中可以超越原始模型。
为细分用例微调。当通用模型不够好时提升质量,原因通常是数据未公开。例如,据 Fireworks 团队称,法律和医疗领域的项目往往能从中受益。
3. 选择模型、提供商和部署策略
大多数推理服务提供商提供完全相同的可运行模型,差异在于模型性能和质量。例如,模型质量可能因默认上下文长度而异,一些提供商将其限制在模型支持的长度以下。还有量化需要考虑,即把模型权重压缩到更低的数值精度,或默认温度,也就是控制输出的随机程度。以下是选择提供商的实用方法:
模型:选择要切换到的 AI 模型
提供商:根据模型质量、性能和成本,选择托管该模型的推理服务提供商
部署模式:决定使用多租户服务,还是迁移到专用 GPU 节点
选择模型
决定使用哪个模型最明显的方法是对各种模型选项运行评估集。在最新一期的 The Pragmatic Engineer Podcast 中,微软 CEO Satya Nadella 认为,私有评估将成为未来科技公司知识产权(IP)的重要组成部分。他说:
“公开基准测试固然不错,但你自己的私有评测会更重要:你需要针对自己关心的结果建立自己的评测。然后你观察所有这些模型的表现,并持续优化。
我们的客户从前沿模型起步,然后说:‘我已经有了所有这些追踪数据。这是一个确定性工作流,所以我不需要下一个大模型发布。我想优化成本。’他们接入[另一个]模型,用这些追踪数据对它进行微调——就这样成了。”
公开基准测试的一个例子来自 Artificial Analysis,它维护了一套评测集,用于比较不同模型在通用任务上的成本。以下是按模型细分的每项任务平均成本:

假设你在 Anthropic 的 Sonnet 5.5 模型之上构建了一个应用,在该指数中每项任务平均成本为 5.46 美元。如果 Kimi K3 足以满足这一用例,那么该模型的运行成本要低约 60%,每项任务仅需 2.00 美元。请注意,这里的成本比较是按任务而非按 token 计算的。这很合理,因为不同模型完成任务所需的 token 数量不同,这使得在没有自己的私有评测的情况下,很难比较模型成本!
话虽如此,判断一个模型是否足够好,需要的不仅仅是查看公开基准测试结果。理想情况下,应该有一套评测集来比较模型。如果没有,运行 A/B 实验是一个不错的替代方案。例如,如果你想将智能体编码工作流切换到某个推理提供商,你可以直接让一些工程师使用新模型,并对结果给出反馈。
选择提供商
所有提供商都会对开放模型进行调整,以在不显著降低质量的情况下榨取更多性能。因此,不同提供商的模型输出和质量会有所差异。比较提供商模型准确性的一个有用工具是 Artificial Analysis 的端点准确性指数。该分数将各推理提供商的结果与其自托管版本进行基准对比。指数值为 100% 意味着提供商的结果与 Artificial Analysis 自己托管的模型相同。

端点准确性大体相似,各提供商的分数在 93% 到 102% 之间。差异来自推理提供商对其开放模型版本所做的性能和质量调整。由于 LLM 具有非确定性,该测量具有 95% 的置信区间——这给评估又增加了一层复杂性。较小的分数差异被认为与 Artificial Analysis 的参考模型处于同一水平,因此技术上低于 100% 的条形也被标为绿色。
部署模式:多租户还是专用?
所有提供商的产品都包括多租户 API,以及用于运行 LLM 的专用 GPU。这种部署演进通常是一条进阶路径:大多数部署最初是作为前沿实验室 API 的直接替代品,随着使用量增长,它们开始转向专用基础设施。
当切换到由推理提供商托管的开放模型时,每 token 成本会下降。不过,你仍然运行在多租户环境中,这会带来与使用前沿模型 API 端点时类似的性能瓶颈。不同之处在于,借助推理提供商,你可以迁移到专用托管环境,并完全掌控部署的性能。拥有自己的部署(通过推理提供商控制 GPU)使得利用后训练等技术来微调模型质量成为可能。
从多租户 API 到专用 GPU 的典型进阶路径
使用 LLM 的初创公司最典型的路径:
使用前沿实验室的 API 端点
转而使用开放模型,使用推理提供商的 API 端点
从推理提供商处租用专用 GPU

迁移到推理提供商通常与实现某种程度的产品市场契合相伴。我们交谈过的三家推理提供商都告诉我们,当客户通过进入“阶段 1”(见下文)完成签约时,其产品已在市场上获得关注。只有当用户活动达到相当水平时,每 token 成本才会变得重要。
使用专用 GPU 的“阶段 2”意味着可观的预算承诺、更成熟的产品和大规模使用。
获取推理容量:鉴于全球 GPU 短缺,这可能很棘手!我们之前报道过云提供商内部存在 CPU 短缺——因此,更紧迫的 GPU 短缺也就不足为奇了。即便是大型推理提供商也难以获得所需的全部 GPU。我们交谈过的推理提供商都运行在多家云提供商之上——有些还管理自己的裸金属——正是为了尽可能获取更多容量。获得更多 GPU 的访问权限,使得在多云环境中运行所带来的额外运营复杂性变得合理。能够快速接入拥有闲置容量的新云提供商,正成为该行业的关键差异化因素。
如果你需要专用 GPU,要知道这可能会很昂贵。容量稀缺是专用配置通常需要预先做出长期预算承诺的原因之一。简而言之:你需要支付更大的金额,并承诺在更长的时间范围内为这些 GPU 付费。
4. 阶段 #1:API 替换,使用多租户推理设置
对于 LLM 账单高昂的团队来说,降低成本最简单的方法是在 Claude Code、Codex、OpenCode 中用前沿水平的开放模型替换前沿实验室的模型。查看 OpenCode 和 OpenRouter 的数据,目前工程团队最流行的选择包括 DeepSeek 4.1 Flash、GLM 5.3,以及 Kimi K3.1 Pro 等其他模型。
执行替换最简单的方法是将应用程序指向推理提供商提供的 API。在实践中,这意味着使用多租户 API,其他客户会访问同一个端点,类似于使用前沿实验室的 API 端点。起初一切都会很好,但随后你可能会遇到首 token 延迟(TTFT)、缓存相关成本和延迟问题。
这些也是使用前沿实验室 API 时会遇到的问题,区别在于,使用推理提供商时,可以通过迁移到专用部署来解决其中大部分问题。
延迟问题:TTFT、推理时间、用户体验延迟
首 token 时间衡量的是从请求到达 LLM API 的那一刻起,到客户端开始收到首批 token 所需的时间。TTFT 延迟的分布具有长尾特征:

右侧长尾意味着相当比例的请求延迟达到中位数的两倍或更长。因此,在测量延迟时,p95/p99 延迟与 p50 延迟同样重要。TTFT 可以在两个位置测量:
推理时间:由提供商埋点测量的 TTFT 显示纯推理时间。部分提供商会在仪表盘上向客户展示该指标,部分提供商则将其包含在响应中。前沿实验室通常两者都不做。
用户体验延迟:由客户端埋点测量的 TTFT 显示完整的用户体验延迟,包括网络传输或 TLS 握手等环节。
服务端推理只是应用用户等待响应所耗总时间中的一部分。要实现真正快速的 p95 用户延迟,最好考虑在 LLM API 消费端进行连接池等优化。
在共享基础设施上提供 LLM API 时,推理提供商会运行许多 LLM 推理引擎副本以服务客户请求。单个推理引擎可以并发处理多个请求。当并发请求数超过当前副本容量时,就会创建新副本。副本扩缩容是仅推理 TTFT 延迟波动如此之大的原因之一。
TTFT 波动的其他原因:
“吵闹邻居”效应:一个请求与另一个处理成本更高的请求被批处理在一起,因此比它与类似请求同批处理时耗时更长。
冷启动:当现有副本没有容量时,请求会在队列中等待。推理提供商正在创建新副本,但这并非瞬时完成,因此请求必须等到新副本可用(等到新副本从“冷”的离线状态启动)。
冷缓存:首次发送大型请求时,它可能落到未加载相关 KV 缓存的副本上(缓存是“冷”的——与 KV 缓存已填充的“热缓存”相反)。推理提供商通常会尽量让请求粘滞到同一副本,因为这能保持副本的 KV 缓存处于热状态。有时这无法做到,因为你的缓存已过期,或者请求落到了没有相关 KV 缓存的副本上。此时 KV 缓存要么从冷存储中复制(如果可用),要么在生成首个 token 之前被完整处理。
提示缓存利用率是可观测且可由构建 LLM API 应用的工程师采取行动的。你可以从 OpenAI completions API 的响应中获取提示缓存利用率指标。构建应用以有效利用提示缓存是提升应用性能的关键技术,因此值得进一步研究。
缓存问题:成本与延迟
如今大多数主流 LLM API 端点都是无状态 REST API,其灵感来自 OpenAI 的 chat completions API。
LLM 端点是无状态的,这带来了问题,因为大多数 LLM 用例都是有状态的。Fireworks 联合创始人兼 CTO Dmytro Dzhulgakov 将让 API 无状态的这一决定称为“原罪”,因为虽然客户端应用表现得像是在与无状态 API 通信,但负担却落在提供商身上,需要在分布式环境中确保高效的缓存机制。
下面用一个例子说明无状态 API 引发的问题:一个包含用户输入、LLM 提示词和智能体上下文层的应用:
来源:Pragmatic Engineer · newsletter.pragmaticengineer.com
来源:RadarAI · aihot.news