Meta 如何用模板驱动 ML 生态实现规模化部署
Meta 提出模板驱动方法,将模型设计标准化为可复用组件,两年内把单模型工程时间减少 92%,交付 5000+ 技术-模型组合。该方法在同等服务容量下平均提升离线模型质量 0.63%,并带来覆盖 70% 模型的 0.86% 累计线上提升。
Meta Engineering Blog·2026-11-19 00:59· 2 小时前AI 评分45
一次设计,规模化部署:构建模板驱动的 ML 生态系统
AI 导读
Meta 用模板驱动方法把模型设计标准化为可复用组件,两年内将单模型工程时间减少 92%,交付 5000+ 技术-模型组合。该方法在同等服务容量下平均提升离线模型质量 0.63%,并带来 0.86% 的累计线上提升,覆盖 70% 的模型。
正文 · 原文
- 随着 ML 生态系统增长到大量生产模型,瓶颈不再是发明新技术来改进这些模型,而是要在碎片化的模型空间中可靠、高效地交付它们,形成水涨船高之势。
- 在 Meta,我们构建了一种模板驱动的方法,将模型设计标准化为一小组可复用、可组合的构建块,把模型迭代从逐个模型的问题转变为共享的系统问题。
- 在过去两年中,该方法将单模型工程时间减少了 92%,交付了 5000+ 技术-模型组合,在同等服务容量下平均提升离线模型质量 0.63%,并带来 0.86% 的累计线上提升,按数量覆盖 70% 的模型。
- 这项工作在我们的论文《Design Once, Deploy at Scale: Template-Driven ML Development for Large Model Ecosystems》中有完整详述。
Meta 的广告排名系统每天处理数十亿次请求,覆盖多样化的产品和优化目标,由大量生产模型提供服务。在这种规模下,提升用户相关性和广告主价值的主要挑战已从发明新技术转向传播新技术。每个高影响力的想法都需要触达其适用的每一个模型,而逐个模型进行适配无法随模型规模扩展。
在大规模 ML 系统中,碎片化会迅速加剧。一种新架构落地于一个模型,但将其推广到生态系统的每个角落可能需要数年。一次平台迁移适用于一个模型家族,却在长尾的专用配置上失效。一条调优洞见改进了一个模型,却对下一个模型帮助甚微,因为底层设置差异太大。随着时间推移,传播变得比创新本身更困难。
Meta 的广告排名生态系统遇到了完全相同的问题。随着生产模型数量随广告优化目标的多样性而增长,架构、特征、训练设置、服务约束和平台特定逻辑的多样性也随之增长。这种多样性为团队带来了灵活性,但也造成了三个系统性问题:广泛交付新想法的工程成本高、边角案例激增带来的可靠性成本高,以及估算变更对整个生态系统影响时的可预测性低。
更深层的问题在于,碎片化为工程本身制造了一种不利的扩展规律。如果每个想法都必须按模型逐一评估和适配,工作量就会随模型数量线性增长。这在早期尚可管理,但当模型数量很大时就会成为严重瓶颈。
碎片化还会削弱自动化。AutoML 和优化系统在结构化空间中效果最佳,但当每个模型形态各异时,最具潜力的技术只能触达一部分模型。
我们的答案不是在这种复杂性之上再增加一层自动化。相反,我们从降低复杂性本身入手。为此,我们引入了标准模型模板(SMT),这种方法将模型设计标准化为一组精选的可复用模板。

模板驱动的基础
模板是一种有明确取舍的最小化模型设置,由架构选择、特征逻辑、训练设置和 serving 配置等共享组件构建。我们不再把每个生产模型都当作基本独立的设计来维护,而是围绕少量标准模板对相似模型进行分组。模型特定的逻辑在必要时仍然存在,但公共部分被显式表示并共享。
在实践中,我们使用一小组模板,覆盖不同模型规模下的主要排序和检索模式。这些模板打包了用于特征选择、特征交互、模型并行、训练配置和硬件感知 serving 的可复用组件。
这以一种重要的方式改变了运营模式。我们不再在每个模型上独立评估新想法,而是可以在一组小得多的代表性模板上评估,然后将其传播到使用这些模板的模型组。换句话说,我们从按模型迭代转向按模板迭代。
这给我们带来了三个主要优势。
- 降低传播复杂性:共享模板让一次实现可以服务多个下游模型,从而降低了大规模交付新想法的成本。
- 提升可靠性:当独特的模型设置更少时,构建更强的验证、更好的防护措施和更可迁移的调试工作流就变得切实可行。训练不稳定或 serving 回归等问题变得更容易推理,因为它们发生在共享的模板结构内,而不是无界的配置空间中。
- 提升可预测性:当一组模型共享同一模板时,代表性模型上的性能就能更好地反映该组其余模型的情况。这使得生态系统层面的规划更有依据,减少了对假设的依赖。
随着时间的推移,这种模板驱动的方法不再只是一项标准化工作。它成为了更广泛的机器学习开发系统的基础。

SMT:从标准化到可扩展的技术迁移
向 SMT 的转变解锁了一项更宏大的能力——将整个生态系统作为一个单一、内聚的整体进行优化的能力。我们不再管理一组相互独立的模型,而是开始将整个格局视为一个共享的创新面。
我们不是逐个传播单项技术,而是通过共享模板层,将经过验证的整体模型设计从强源模型迁移到目标模型家族。这一点很重要,因为许多收益来自架构选择、扩展决策和训练策略之间的相互作用,而非独立应用的孤立组件。
在过去两年中,这种方法将单模型工程时间减少了92%,在我们庞大且多样化的模型集群中交付了5000+个技术-模型组合,同时在中性服务容量下将离线模型质量平均提升了0.63%,并带来了0.86%的累计在线提升。更重要的是,它挑战了一个常见假设:多样化的优化目标需要高度多样化的模型设计。在许多情况下,精心设计的共享模板可以泛化得远超预期。
我们还发现,一旦模型结构标准化,扩展决策就变得更加可复用。我们不必为每个模型单独重新发现成本-性能权衡,而是可以在模板空间中学习它们,并更广泛地应用。这催生了基于缩放定律的优化工作流,使资源分配更加有原则、更少临时性。
多模型优化
我们使用多模型优化来使模板迭代更加严谨。该过程在代表性模型上评估候选技术,并搜索能够在限制回归的同时提升聚合性能的配置。
一项平均增益很强但频繁出现回归的技术,很难在大型集群中交付。对于生产规模的传播而言,一致性与峰值提升同样重要。多模型优化在决定一项技术是否准备好集成时,会同时考虑聚合性能和回归率。
优化后,候选技术在留出模型上进行验证,以检查增益是否能迁移到代表性集合之外。通过验证的技术会被集成到下一个模板版本中。在过去两年里,我们通过这一工作流交付了80项新的机器学习技术。
结果是复利式的。每个采用成熟模板的模型都继承了一段泛化改进的历史,而不是从孤立的基线开始。
为什么SMT对智能体式机器学习系统很重要
智能体式模型构建通常设想一个端到端智能体,能够访问工具、训练流水线和评估结果,在大型设计空间中探索。在实践中,这种方法会遇到一个熟悉的问题:搜索空间过于不受约束。没有强先验,智能体会花费过多精力探索无成效的区域、从可避免的失败中恢复,或提出难以解释且更难交付的变更。
SMT有助于解决这个问题,因为它们编码了已知良好的设计模式,为智能体提供了结构化的起点、有界的搜索空间和质量下限。我们可以将模型构建分解为专门的子问题,而不是将其视为自由形式的搜索。
在 Meta,SMT 也是我们多智能体建模方法的基础。模板提供结构,智能体提供自适应探索和自动化。在模板层面,智能体帮助构建、评估和改进模板本身。它们基于经过验证的技术提出优化思路,在代表性模型上启动实验,诊断失败原因,并进行多轮迭代,这有助于管理模板开发所需的多日循环。智能体还可以承担更困难的工作,例如将模型迁移到新的硬件平台。通过这种方式验证的技术会惠及基于该模板构建的每一个模型,而所需算力仅为逐个适配每个模型的一小部分。我们在文章How Meta Uses AI Agents to Scale ML Techniques Across Ads Ranking Models中对此做了更详细的介绍。
SMT 的经验教训与未来之路
在大型机器学习生态系统中,推广机器学习创新以改进模型往往是主要的扩展挑战。SMT 之所以成功,是因为随着底层系统变得更加结构化,自动化的能力也会更强。模板驱动开发不仅让人更容易操作整个生态系统,也让优化系统、扩展工作流和智能体能够更有效地进行推理。
但标准化只有在足够有主见、能够消除不必要的多样性,同时仍保留真正重要的有限灵活性时,才能奏效。一个试图兼容所有历史边缘情况的模板系统,最终会重新制造出它本要解决的碎片化问题。
在扩大覆盖范围、改进模板覆盖、加强基于缩放定律的优化,以及迈向完全端到端的智能体工作流(包括智能体模板构建、模型生成、在线评估和基于在线信号的持续优化)方面,还有更多工作要做。我们还需要让这些工作流更可靠、更可解释。
但核心思想依然成立。如果你想让机器学习创新在大型生态系统中规模化,就需要标准化创新所依托的界面。换句话说,一次设计、规模化部署不仅是一种效率策略;它也是一种架构选择,关乎如何让大型机器学习生态系统更快地学习。
阅读论文
“Design Once, Deploy at Scale: Template-Driven ML Development for Large Model Ecosystems.”
致谢
Aayush Aggarwal、Saurabh Aggarwal、Anuj Bindal、Nakul Camasamudram、Shouyuan Chen、Wenlin Chen、Kevin De Angeli、Jason Flaks、Luc Kien Hang、Rupinder Khandpur、Santanu Kolay、Nhat Le、Swamy Muddu、Sandeep Pandey、Dhiraj Parashar、Akshay Pardeshi、Jingzheng Qin、Shah Rahman、Shiblee Sadik、Munaf Sahaf、Vibha Sinha、Saied Tahaghoghi、Terry Tang、Alireza Vahdatpour、Fangjing Wu、Haoyu Wu、Wendan Yan 和 Chang Yang。
文章 Design Once, Deploy at Scale: Building a Template-Driven ML Ecosystem 首次发表于 Engineering at Meta。
来源:Meta Engineering Blog · engineering.fb.com
来源:RadarAI · aihot.news