Exa 借助 AWS AI 芯片将嵌入吞吐提升 50%,支撑数百亿文档索引
Exa boosts embedding throughput by 50% to index billions of documents on AWS AI chips
Exa 在 AWS Inferentia2 和 Trainium2 上优化嵌入推理,吞吐提升约 1.5 倍(50%),用于索引数百亿网页文档。优化包括权重布局调整、autocast 降精度(输出与参考的余弦相似度达 0.999)、NKI 注意力内核,以及自研 weight-stationary 融合 SwiGLU MLP 内核消除 HBM 读写停顿。
在 Exa,我们正在构建为数不多的真正网络索引之一,通过聚合并提供来自整个网络的知识,以及私有和合成来源。我们针对语义搜索优化该索引,让智能体和人类都能基于真实、高质量的数据。我们使用多塔语义机器学习(ML)模型,将网络数据和查询数据嵌入到同一向量空间中,因此用户可以用自然语言表达复杂查询,同时结合传统关键词搜索。其背后的关键技术是自研向量数据库。它必须尽可能多地摄取高质量网络数据并全部嵌入。因此,嵌入的单位经济性是我们一切工作的基础。在数十亿到数千亿文档的规模下,找到每美元性能最佳的硬件并非调优细节。任何单文档成本的改善都会累积成可观的数字。
本文详细介绍了我们如何在 AWS Neuron 硬件(AWS Inferentia2 和 AWS Trainium2)上优化嵌入基础设施,以实现更便宜、更灵活的推理工作负载,以及智能体式开发工作流如何推动这一优化。
推理运行在异步流水线上,但它必须高吞吐且快速,以便快速服务最新数据并缩短从发现到服务之间的时间。
图 1:Exa 技术栈的简化视图
我们评定为质量足够高的每个结构化网络文档都必须先嵌入才能被服务。此图展示了原始网络数据如何从爬虫进入由解析、审核和过滤,再到嵌入的异步流水线,结果由向量数据库提供。
大规模嵌入文档
我们对 Neuron 硬件系列的经验始于一次回填。迁移到更优的文档模型意味着要重新嵌入现有语料库。我们选择了 300 亿份高优先级文档进行重新嵌入。这样的迁移会暂时使嵌入负载翻倍,这恰好是重新评估硬件选择的合适时机。
图 2:回填导致的推理负载翻倍
上图展示了两个共享爬取和解析阶段的并行流水线,一个使用在线模型将文档嵌入到在线索引,另一个使用新模型将优先文档重新嵌入到新索引,这就是负载翻倍的原因。这种翻倍是重新考虑硬件和优化选择的明确触发因素。
优化历程
AWS Inferentia2 的数据指的是在最小实例类型 Inferentia2 xlarge 实例(inf2.xlarge)上的性能,该实例有一个芯片和两个 NeuronCore。我们的工作负载运行在单个 NeuronCore 上,因此我们运行 Kubernetes Pod,将它们打包到更大的实例上而不让任何核心空闲,从而在嵌入集群中实现容器同质性。相同的过程在 Trainium2 NeuronCore 上运行,并通过数据并行以相同方式扩展。我们最初的 Inferentia2 实现是模型的一个直接的数据并行 FP16 表示。从那个基线开始,我们借助 Neuron SDK 和 AWS Trainium 团队的支持,踏上尽可能提高吞吐量(文档/秒)的征程。下图展示了每个里程碑处的吞吐量提升。
图 3:各优化里程碑的吞吐量提升
从朴素编译出发,一系列渐进式优化最终带来了约 1.5 倍的吞吐量提升。首先是权重布局优化,通过将权重布局与更大模型的调度和布局对齐,消除了不必要的转置。我们还启用了 autocast,让编译器将矩阵乘法降精度执行,同时保留动态范围。降精度后的输出在余弦相似度上达到 0.999 的正确性门槛(对照参考实现,见 Agentic methodology),因此精度影响在我们的可接受阈值之内。
NKI 内核
Neuron Kernel Interface(NKI)库为常见模型层和操作提供了优化内核。这些预构建内核在常见特性上带来立竿见影的收益,我们借助它们快速消除了最直接的效率瓶颈。一个可直接替换的注意力内核带来了下一轮性能提升。
内存布局优化:融合 SwiGLU MLP 内核
下一个瓶颈是内存溢出。来自 Neuron Explorer 的性能剖析持续显示,大量数据从高带宽内存(HBM)溢出并重新加载,导致 Tensor Engine 在前向传播过程中无法被充分利用。我们以可直接替换的 MLP 内核作为跳板,剖析预构建实现的不足,随后编写了一个自定义的权重驻留融合 SwiGLU MLP 内核,消除了 HBM 停顿。
我们在布局操作、循环和内存操作上使用较高级的 NKI 语言,仅在特定张量操作时才下探到较低级的 NKI ISA。将内核的大部分保留在较高级语言中,使工程师更容易理解,也更容易调试。
减少 FLOPS
此时我们遇到了瓶颈。在另一个片上核心空闲时测得的单加速器吞吐量,显著高于两个核心同时运行时的表现。这一差距意味着我们的理论数据并行吞吐量本应远高于实际达到的聚合性能,这指向了核心之间的争用。
性能剖析和实验表明,我们的工作负载尚未使 Tensor Engine 饱和。剩余的性能空间可以通过让计算更精简来争取。最清晰的路径是消除浪费,减少产生结果所需的总体 FLOPS。我们围绕模型中的确切形状重写了注意力内核,以减少花在填充上的 FLOPS。这正是内核定制真正见效之处。通用内核为处理任意形状而构建,因此无法利用特定架构中的具体形状。我们通过将实现定制为模型头架构的真实形状,从注意力中榨取了更多性能。我们还将注意力操作折叠为单次矩阵乘法,而通用内核则使用多个指令步骤。这减少了计算相同数值所需的内部循环操作,从而减少了 HBM 往返,并带来了最终显著的加速。
总体而言,与最初的基线相比,我们的最终版本在每嵌入 100 万文档的性能和成本上提升了 47%。
Agentic methodology
Agent 在一个简单的三部分测试框架内完成了所有这些优化,该框架让它们能够验证正确性、测量性能并分析工作负载以找到下一个方向。使用 Flyte 这一 ML ops 工作流平台,每个 Agent 运行自己的工作流。该工作流编译一个 NEFF Neuron 可执行文件,并针对基线数据集检查前向传播,其与规范模型的余弦相似度必须达到 0.999。随后它会分析一次前向传播,并在真实硬件上运行 30 分钟的饱和基准测试。
该测试框架支持不同成本的 Agent。轻量级模型处理诸如网格搜索编译器参数之类的繁琐工作,而正确性检查可防止漂移。推理型 Agent 测试复杂假设并找出瓶颈,而最强的代码生成器则编写自定义内核来修复它们。将每个 Agent 与其任务相匹配可控制成本,而验证可防止能力强的 Agent 发生漂移。由于许多 Agent 不了解最新的特性和语法,neuron agentic development skills 也提供了帮助。
灵活算力的优势
到目前为止,我们已针对美国西部(俄勒冈)区域(us-west-2)优化了 Inferentia2,但在一个区域调优一个硬件系列存在硬性限制。Spot 和按需可用性因区域而异,拥有众多消费者的组织会与自己竞争。锁定在一个区域或实例类型几乎必然导致算力短缺,并可能造成服务降级。
Exa 从单一 Kubernetes 控制平面跨多个区域调度算力。我们的调度器比较各实例类型的每美元性能,并将 Pod 打包到最便宜的节点上,随着嵌入需求变化重新调度。我们优化的每种硬件类型都让我们更接近全局最优。这就是为什么我们的 Inferentia2 工作直接延续到了 Trainium2。切换硬件配置让我们能够释放其他团队需要的节点,或吸收他们未使用的预留算力。对于长期运行的模型,跨硬件优化能带来巨大回报。
结论
在 Exa 运营的规模下,从灵活的硬件池中榨取最大成本性能才是关键。将 Neuron 硬件加入该池并用 NKI 对其进行优化,已被证明是长期成本节约的主要来源。
关于作者
Summer Devlin
Summer 是 Exa Labs 的数据基础设施工程师,专注于解决网络规模的杂乱数据问题。
Jim Burtoft
Jim 是 AWS 的高级 Trainium 解决方案架构师,直接与公司、教育机构以及 Hugging Face 团队合作,让在 Trainium 上使用模型变得更加容易。Jim 是 CISSP,Neuron 数据科学技术领域社区的负责人,并与开源社区合作以推动 Neuron 和 Trainium 的更广泛使用。Jim 拥有卡内基梅隆大学数学学士学位和弗吉尼亚大学经济学硕士学位。
Pinak Panigrahi
Pinak 在 Amazon 的 Annapurna Labs 从事 AWS Trainium 上 AI 模型的性能优化工作。
Venu Geddam
Venu 是 AWS Enterprise Support 的高级技术客户经理,他与战略客户合作,在 AWS 上运行具备韧性的大规模工作负载。他的工作涵盖 EC2 容量与存储优化型计算、成本与运营优化,以及现代 AI/ML 平台背后的基础设施——包括 GPU 和 Graviton 集群、Amazon SageMaker HyperPod 和 Amazon Bedrock。Venu 帮助工程团队将雄心勃勃的技术目标转化为可投入生产、运营稳健的架构。
来源:AWS Machine Learning Blog · aws.amazon.com


