如何设计一套可持续演进的 AI 服务框架

企业 AI 的下一个竞争优势，与其说取决于你选择哪个模型，不如说取决于你在模型周围构建了什么。

这是一个重要的转变。过去几年，AI 讨论的很大一部分都集中在模型能力上：更大的模型、更好的推理、更大的上下文窗口、更高的基准测试分数。这些进步非同寻常。但随着 AI 从实验走向生产，企业领导者面临的问题已经改变——不再是“模型能做什么？”——而是“我们能否可靠、经济且大规模地交付这种智能？”

答案越来越取决于服务框架——围绕模型的工程系统，包括架构、内存管理、调度和优化决策，这些决定了模型智能转化为生产能力的效率。

对于技术高管而言，这改变了 AI 投资应该投向何处——以及他们应该对支撑它的架构提出什么要求。

不存在普遍“最佳”的模型或 AI 架构。只有针对业务问题的正确解决方案。

一个针对快速响应优化的面向客户的助手，与一个可以通宵运行的文档处理流水线有着根本不同的需求。一个内部知识应用和一个高并发的客户服务平台可能使用相同的基础模型，但需要非常不同的服务架构。

工作负载定义了约束条件。约束条件应该决定架构。

这听起来很简单，但它与许多组织在早期 AI 部署中的做法背道而驰。在概念验证阶段，模型准确性自然会主导讨论。生产环境引入了在只有少数用户参与时更容易被忽视的约束：延迟、并发、内存压力、GPU 利用率、基础设施成本和不可预测的流量。

如果一个模型能产生略微更好的答案，但推理成本翻倍或无法满足应用的延迟要求，它未必是更好的生产选择。并非每个工作负载都需要法拉利。有时更明智的工程决策是选择恰好能提供业务所需性能的模型，而不为不需要的能力付费。

目标应该是为工作负载以合适的成本部署合适的智能。这使得服务架构不仅仅是工程问题。它变成了一个投资决策：在哪里投入计算资源，在哪里优化，以及在哪里额外的模型能力根本不值得付出成本。

一旦 AI 进入生产环境，看似孤立的工程决策开始相互影响。服务架构影响内存利用率。内存管理影响并发。并发塑造批处理和调度，而调度影响 GPU 利用率和延迟。

只有这样，量化、投机解码或优化的注意力机制等技术才能充分发挥其价值。这种相互依赖性很重要，因为组织可能在基础设施上花费更多，却无法解决限制性能的约束。

GPU 内存就是一个很好的例子。在推理过程中，模型的权重保持不变，但键值（KV）缓存会随着活跃请求和上下文长度的增加而增长。随着并发量上升，即使计算能力仍然可用，系统也可能耗尽可用的 GPU 内存。在不了解这一瓶颈的情况下增加更多算力，可能只会让一个低效的系统变得更加昂贵。

对技术领导者而言，这一教训的意义远不止于内存管理：先测量，再优化。找出主导性约束，解决它，测量结果，然后判断是否出现了新的瓶颈。如此循环往复。

不要把优化技术当成宝可梦卡牌：目标不是把它们全部收集齐，而是应用那种能在满足应用业务需求的同时消除影响最大约束的技术。

对技术领导者而言，这要求换一个治理问题：不要问组织能部署哪些 AI 能力，而要问在已被验证的能力与可持续的商业价值之间，横亘着哪些约束。

投资于服务框架（serving harness）最重要的原因或许是：今天的领先模型很可能不是明天的领先模型。模型会进步，硬件会演进，新的优化技术会涌现。围绕它们的架构应当让这些变化更容易被吸收，而不是迫使企业在每次技术进步时重建其 AI 平台。

这使得适应性日益成为 AI 战略的一项重要成果。

围绕工作负载需求、清晰的服务级别目标和可度量的生产经济性来构建服务系统的组织，能够对照业务的实际需求来评估新模型和新基础设施。模型更换可以变成一项评估与配置决策，而不是一次架构重置。

EXL 研究人员在 EXL Engineering the Harness 系列中更深入地探讨了这些生产挑战。该系列考察了服务架构、内存管理、调度和推理优化如何协同作用，使企业 AI 更高效、更具可扩展性且在经济上更可持续。

越来越多的企业能够获得许多相同的模型。可持续的差异化来自组织将这种智能转化为业务成果的效率。

模型提供智能。服务框架决定企业能否可靠、经济且大规模地交付成果。

本内容由 EXL 制作，并非由 MIT Technology Review 编辑团队撰写。