Meta Andromeda：通过模型-系统协同设计驱动下一代广告检索

Meta 工程博客·2026-10-29 00:00· 2 小时前AI 评分46

Meta Andromeda：通过模型与系统协同设计驱动下一代广告检索

AI 导读

Meta 公布下一代个性化广告检索引擎 Meta Andromeda，在单张 GH200 GPU 上实现每秒超 100 亿条广告的推理吞吐，较 2024 年系统提升 100 倍。新架构将 LLM 式 MoE 引入检索阶段，推理 FLOPs 比 2024 版减少约 300 倍，模型表现接近排序阶段水平。自 2025 年以来，该系统已在 Facebook 带来 2.4% 的转化提升。

正文 · 原文

• 本文介绍 Meta 个性化广告检索引擎 Meta Andromeda 的下一代版本，以及模型、系统与 GPU 硬件的协同设计如何为广告检索开辟新的效率前沿。
• 在生产环境中，该系统以接近排序级别的模型性能、在检索规模上为每一条符合条件的广告打分，并以每秒超过十亿条广告的速度筛选出最优候选，为广告检索阶段模型树立了新的吞吐量基准（即相比 2024 年的 Meta Andromeda 系统提升 100 倍）。
• 对广告主而言，这意味着检索系统能在相同的延迟预算内，从更大的候选池中匹配广告，从而自动带来更好的效果。自 2025 年以来，Meta Andromeda 已在 Facebook 上带来 2.4% 的转化提升。

Meta Andromeda 是 Meta 用于个性化广告检索的机器学习系统，处于广告推荐流程的第一阶段。检索会在毫秒级时间内将庞大的符合条件的广告池缩小为一小组强候选；随后，计算成本更高的排序阶段会对这些幸存者进行精细打分。 

从历史上看，排序阶段的深度建模质量在检索规模上应用成本过高。基于 Andromeda 2024 年在 NVIDIA GH200 Grace Hopper 超级芯片上发布时奠定的检索基础，本文分享模型、系统与硬件的协同设计如何将接近排序级别的性能带到检索规模。

扩展检索的挑战与机遇

2024 年的 Andromeda 部署以端到端优化的检索实现重构了检索，从具备分层索引和 GPU 原生算子的定制 AI 硬件，到专门构建的 ML 模型，使模型容量提升了四个数量级。此后，生成式 AI 创意工具帮助广告主快速创建了数亿条新广告，使 Meta 的广告候选池增长到前所未有的规模。 

要以更高的系统吞吐量、用更准确的模型为如此庞大的广告候选池打分，需要在模型质量、系统架构和硬件利用率上共同实现根本性的技术突破。 

更高的模型性能需要新的架构 

广告检索对增量质量的 ROI 影响巨大：检索模型性能的小幅提升就能为广告主价值带来大幅增长。我们广告候选池的快速扩张，使得针对硬件容量 ROI 的优化成为日益关键的因素。2024 年的 Meta Andromeda 检索模型凭借其面向 GPU 优化的深度神经网络架构，奠定了极为有效的基础。然而，要在当前规模下以可持续的计算成本持续提升检索性能，我们必须超越这一范式。这需要一次根本性的架构演进，在不带来成本成比例增长的前提下，显著突破模型性能边界。

十亿级规模下的新系统瓶颈 

2024 年的 Meta Andromeda 系统在每张 GPU 卡上每秒评估数千万条广告。要满足新的业务需求，系统需要达到每张卡每秒评估数十亿条广告的吞吐量。在每秒数十亿条广告的吞吐量下，让广告张量穿行于内存层级所产生的内存带宽成为新的瓶颈。GPU 内核之间的中间张量带来每秒数 TB 的内存流量，而在本地 CPU 主机与评估模型的远程硬件加速器之间传输广告会占满网络链路。这需要一种新的系统协同设计，将这些碎片化、分布式的工作负载统一到单一的 GPU 流水线中。

逼近硬件极限 

当检索运行在 GPU 上时，重要的优化问题是：“我们距离硬件上限有多近，未来模型增长还有多少空间？”要回答这个问题，需要将检索流水线的每个组件都推向当前硬件代际的极限，这一挑战促成了与 NVIDIA 的联合协作。

这些挑战中的每一项都推动了相应的进展。

通过模型-系统协同设计释放检索性能

下一代检索模型架构——检索混合专家（MoE） 

最新一代 Meta Andromeda 引入了三项协同的架构创新，将受大语言模型（LLM）启发的混合专家（MoE）引入检索（见图 1）。凭借这一极具表达力且推理高效的架构，一条新的检索性能-效率帕累托前沿得以确立：在典型的“先检索后排序”系统中，模型性能接近排序级水平，而推理时 FLOPs 相比 2024 年 Meta Andromeda 检索模型减少约 300 倍。

在用户建模方面，我们从单一用户塔转变为由多个专用用户塔组成的专家集成。通过整合大量高保真信号——序列化广告互动事件、用户群体表征、LLM 衍生的语义特征以及跨场景共同互动信号——来捕捉多样化、随时间演变且情境化的用户兴趣。

在候选广告塔中，我们采用联合编码策略，纳入实时服务上下文，确保下游交互模型获得具备上下文感知的表征。

在交互总体架构层，交互模型从稠密神经网络演进为基于 MoE 注意力的门控网络，该网络将候选动态路由到最相关的用户专家，以极少的 FLOPs 实现接近排序级别的性能。

新架构的一个决定性特性是其性能与底层硬件执行模型协同设计。在单块 GH200 GPU 上，模型推理吞吐量已达到每秒超过 100 亿条广告，这种效率使模型容量能够进一步增长——通过更丰富的特征交互、额外的专家子网络和更深的架构——而不会带来 GPU 成本的成比例增加。模型的每一次进步都转化为更大的广告主价值。

将模型与系统协同设计到单一 GPU 流水线上

2026 年的 Meta Andromeda 通过两项创新将模型-系统协同设计推向新高度——一个单一 GPU 内核，将每次用户-广告交互的模型和系统工作负载融合在一起；以及一种将每用户请求逻辑与每用户-广告 GPU 内核共置于单个 GPU 盒子中的策略。为此，构建了一个高度优化且完全融合的 GPU 流水线，以承载整个端到端 Meta Andromeda 工作流。

融合内核

从高层来看，Meta Andromeda 每次用户-广告工作负载的推理时间是一系列紧凑的操作，跨越模型执行和系统逻辑——收集嵌入、执行用户-广告交互模型以及打分。检索 MoE 门控架构中约 300 倍的 FLOPs 减少创造了必要的余量，并且与 2024 年发布时仅融合模型执行内部操作相比，将模型执行和非模型系统工作负载完全融合到单个 GPU 内核的阻力更小。因此，融合内核现在在单块 GH200 上以每秒超过 100 亿条广告的速度运行。

这一点很重要，因为检索工作负载从根本上受限于内存带宽。在每秒数十亿条广告的规模下，即使每条广告有一个小的中间张量，也会成倍增加为每秒数 TB 的高带宽内存（HBM）流量。这些中间张量的内存工作负载，而非算术运算，成为多内核检索流水线中的主要瓶颈。

融合内核完全消除了这一瓶颈。它不为模型和系统操作分派多个小型 GPU 内核，而是在一次执行中完成整个每用户-广告计算。中间结果保留在 GPU 寄存器和线程块共享内存中，从不物化到 HBM，从而实现 GPU 峰值内存带宽的高利用率，而不是浪费在冗余的中间流量上。 

共置策略

单独测量时，每用户广告融合内核在单块 GPU 上以每秒数十亿条广告的速度运行。然而，索引匹配（即执行广告主的定向规则）和 top-K 选择等每用户请求操作运行在独立的本地 CPU 主机上，并通过网络连接与远程加速器上的融合 GPU 打分服务通信。在每秒数十亿条广告的吞吐量下，仅此流量就会使网络链路饱和，使网络带宽而非 GPU 计算成为瓶颈。

协同设计的应对方案是收缩系统架构以匹配模型架构：将索引匹配、打分和 top-K 选择共置于同一块 GPU 上。系统不再跨主机传输大型候选列表，而是将紧凑的请求载荷——用户特征和定向查询——发送到单台 GPU 服务器，由其在本地运行整个检索流水线，仅返回最终的 top-K 结果。这将网络流量减少约 100 倍，使系统重新回到 GPU 计算受限的状态。

将索引匹配迁移到 GPU 上并非易事。广告索引匹配需要跨数十个特征类别评估广告主定义的复杂定向逻辑，并且必须支持全天候广告创建、修改或过期时的实时索引更新。要在 GPU 上支持这一点，需要重新设计索引结构以适配 GPU 并行执行，同时保持生产定向语义的完整保真度。

Meta Andromeda 的单 GPU 流水线

结合上述两项创新，完全共置的单 GPU 流水线在单台 GPU 服务器上每秒处理超过十亿条广告，同时对候选池中的每条合格广告进行打分。这是广告检索阶段模型的新吞吐量基准，而正如下一节所述，仍有显著的提升空间。

GPU 加速检索：Meta 与 NVIDIA 的合作

生产流水线以每秒超过十亿条广告的速度运行，随之而来的一个自然问题是：系统距离当前代硬件的上限还有多近，未来模型增长还有多少提升空间？2026 年初，Meta 与 NVIDIA 启动了一项联合合作来回答这个问题——系统性地优化检索流水线的每个组件，将吞吐量推向硬件极限。NVIDIA 贡献了优化的 GPU 内核，Meta 则集成并基准测试了完整流水线。每个组件相比基线实现了 2 倍到 5 倍的加速。

交互网络（检索 MoE 门控网络）

优化后的门控内核提升了 5.3 倍，从每秒 24 亿次广告提升到超过 100 亿次，达到 GPU 峰值 HBM 带宽的约 85%。在此吞吐量下，门控机制的执行时间/延迟与简单点积评分内核在相同硬件上达到的速度一样快——而模型的表达能力却大幅增强。 这就是协同设计的验证：额外的模型复杂度在 Tensor Core 硬件上基本是免费的。INT8 量化在优化后的 FP16 内核基础上进一步实现了最高 2 倍的吞吐量提升，且精度与 16 位精度相当。

索引匹配

通过有针对性的 GPU 内核优化，索引匹配吞吐量提升了 2 倍以上，达到每秒超过 1000 亿次广告——比评分网络高出一个数量级。这一余量意味着索引匹配可以在多条检索路径上重复运行，而不会成为瓶颈。

端到端 GPU 流水线

除了单个内核之外，此次合作还对完整检索流程进行了性能分析，并发现流水线组件之间的数据移动——而非计算——占端到端延迟的很大一部分。通过协同设计索引匹配与评分之间的数据布局以消除不必要的间接寻址，团队消除了这一开销。在应用所有优化后，完整流水线在单台 GPU 服务器上的基准测试吞吐量达到当前生产吞吐量的数倍，并且随着更多优化集成到生产环境，预计还会有进一步提升。

在下一代 NVIDIA 平台上继续推进工作

基于上述 Hopper 上的成果，我们正在将优化和协同设计工作扩展到 Grace Blackwell。在这里，我们专注于平台设计优化，以支持不同的 CPU 与 GPU 计算配比，我们迄今为止的工作表明，这是类似 Andromeda 工作负载的一个重要因素。我们正在评估端到端应用性能对这些配比的敏感程度，在各自的工作负载部分分别使用 Grace 级 CPU 性能和 Blackwell 级 GPU 性能。

更广泛地说，我们正在探索这些发现如何扩展到下一代平台，在那里，CPU+GPU 执行、资源配比和耦合方面更大的灵活性可能会为类似 Andromeda 的工作负载带来更多这些架构改进。

这些结果证实，协同设计的检索流水线尚未达到上限。随着量化释放出更高的评分吞吐量，且索引匹配的运行速度比评分网络高出一个数量级，该架构已准备好承载显著更多的模型复杂度——更深的交互网络、更丰富的特征空间以及更多检索路径——而无需按比例增加基础设施。

广告检索的前进之路

这里描述的进展遵循一个单一原则：最大的收益来自将模型、系统和硬件设计为一个集成栈，而不是孤立地优化每一个部分。检索 MoE 门控架构以零额外服务成本提供接近排序级别的表达能力。将整个检索流水线融合到单个 GPU 上消除了网络和内存瓶颈。而将流水线推向其硬件上限则证实仍有可观的提升空间。

展望未来，驱动这些成果的协同设计原则同样适用于下一代模型架构和硬件平台，所展示的提升空间使得能够在不按比例增加基础设施的情况下持续扩展。

对于使用 Meta 产品的人来说，这直接转化为更相关、更好的广告，并在相同的延迟预算内交付。对于广告主而言，这意味着更好的客户匹配和更多转化。对于 Meta 来说，这意味着来自广告主的业务增长和成本降低，因为现在每块 GPU 每秒能评估更多广告。随着 Advantage+ 自动化和生成式 AI 创意工具推动符合条件的广告量持续增长，Meta Andromeda 的协同设计架构能够扩展以满足需求。

致谢

我们要感谢 Gosh Arzumanyan、Habiya Beg、Andrew Bocking、Zain Brohi、Rohit Chandel、Claire Chen、Jason Chen、Wenlin Chen、Zhenyu Chen、Yuze Dai、Zhou Fang、Junjie Feng、Stephen Fitz、Chunli Fu、Yicong Fu、Xiaorui Gan、Sohan Gantala、Yingsheng Gao、Golnaz Ghasemiesfeh、Ishu Goyal、Wentian Guo、George Han、Yihan He、Jun Hu、Xuan Hu、Kun Huang、Qin Huang、Tianchen Ji、Crystal Jin、Tao Ju、Rajat Karnwal、Santanu Kolay、Michael Kwan、Ilia Lewis、Baiyu Li、Chao Li、Jim Li、Li Li、Lin Li、Liyuan Li、Mingda Li、Ted Li、Xiaotian Li、Yanyu Liang、Yue Liang、Irene Liu、Gaoxiang Liu、Jason Liu、Siqi Liu、Wei Liu、Xiao Liu、Yuheng Long、Yining Lu、Siyi Luo、Anuj Madan、Phalguna Mankar、Jiachen Mao、Yuji Mo、GP Musumeci、Guruswamy Namasivayam、Kexin Nie、Sandeep Pandey、Uladzimir Pashkevich、Clementine Plati、Heng Qiao、Hang Qu、Lei Qu、Anand Rajan、Jatin Sethi、Puneet Sharma、Ruchit Sharma、Yan Shi、Chang Shu、Sean Song、Alec Stashevsky、Matt Steiner、Zheng Sun、Nikhil Vinayak Supekar、Jim Tao、Chintan Thakkar、Tian Tong、Aleksandr Ulanov、Daksh Vasistha、Simha Venkataramaiah、Abhishek Verma、Ruud Vinke、Vidhoon Viswanathan、Sasha Vorontsov、Eric Walden、Dong Wang、Feng Wang、Haole Wang、Jeff Wang、Senhong Wang、Ye Wang、Di Wu、Haocheng Wu、Shawn Wu、Jimmy Xiang、Nan Xiao、Ruichao Xiao、Chao Xie、Yudi Xie、Fangzhou Xu、Nathan Yan、Tak Yan、Hang Yang、Song Yang、Yuhan Yang、Yavuz Yetim、Bowen Yu、Li Yu、Qifan Yuan、Xiaodong Yuan、Lin Zeng、Siqi (Cindy) Zeng、Caijie Zhang、Joanna Zhang、Min Zhang、Qing Zhang、Zhengkai Zhang、Fangyu Zou，以及 Meta Andromeda 成功背后整个 v-team。

文章 Meta Andromeda：通过模型-系统协同设计驱动下一代广告检索 首次发表于 Engineering at Meta。

来源：Meta Engineering Blog · engineering.fb.com