微软详解 Azure Maia 300 架构：96 加速器机架，推理能效提升 2.5 倍

从诞生之初，Azure Maia 就围绕一个单一的架构理念构建：为 LLM 推理优化整个系统，让每一瓦特和每一美元都能带来更多智能。如今已发展到第三代，Maia 300 是这一理念最充分的体现。Maia 300 作为一个完整系统构建，软件、芯片、物理机架基础设施、网络和数据中心协同设计，作为单一平台运行，以满足云规模智能体推理的需求。

随着智能体工作负载（包括多步执行、长上下文解码和工具使用）改变推理的计算特征和算术强度，这种系统级方法变得越来越必要。满足这些需求需要保持局部性、为计算提供足够的内存容量和带宽、最小化数据移动、高效扩展通信，并在数据中心固定的电力和冷却范围内容纳最强的能力。

在微软，我们通过客户每天使用的产品和平台亲眼见证这一转变，从 Microsoft Copilot 和 GitHub Copilot 到 Microsoft Foundry。大规模运行这些工作负载让我们对 AI 在各行业的采用方式以及支持下一代 AI 应用和智能体所需的基础设施有了独特的洞察。Maia 300 旨在最大化每瓦特有用 token 数和每美元有用 token 数，为这些产品以及微软面向客户的更广泛 AI 产品组合带来更多容量、能力和性能。

通过软件定义数据流实现高能效推理

Maia 200 引入了一类新的加速器架构，称为软件定义本地访问数据流架构，即 SDLA。它始于这样一个观察：高效的数据管理（包括存储、移动和转换数据）是现代 AI 系统的核心挑战之一。Maia 可编程数据流架构将控制路径编程与数据路径执行分离，允许软件在专用本地内存、DMA 引擎、计算引擎和网络之间显式协调数据放置、移动、转换和同步。

Maia 300 为长上下文、推理密集型和解码密集型推理演进这一架构。首先，内存从 SoC 的统一内存访问（UMA）组织转变为跨小芯片的局部性感知非统一（NUMA）组织，使软件可以将数据放置在靠近使用它的计算单元附近。其次，新的窄精度格式配合硬件加速的数据类型转换，减少了每个 token 移动的字节数。第三，机架翻倍至 96 个加速器，扩展域增长为 12,288 个加速器的超级 pod，使更多加速器能够作为一个单一系统高效工作。

Maia 300 并非仅通过增加功耗和芯片面积来提升性能，而是通过一系列架构创新来提高每瓦性能，这些创新优化了整个系统中的数据移动、局部性、精度和内存效率：

• 多芯粒架构提升性能，将计算单元置于台积电 N2P 工艺上，该先进工艺带来最佳的每瓦性能收益，同时将内存控制器和 I/O 功能分离到针对带宽、连接性和成本优化的裸片上。这增加了专用于计算性能的硅面积，并让每个功能采用最适合其角色的技术，同时 SDLA 管理整个封装内的局部性和数据移动。该策略将系统的计算 FLOPs 提升 36%，增加 2.5 倍 HBM 带宽，并提供 14% 更多的扩展带宽。
• 优化的低精度推理，引入增强的 MXFP4 和低于 3 位的存储格式。更窄的表示减少了内存占用和数据移动，使系统能够在相同功耗范围内支持更大的模型、更长的上下文和更多并发会话。
• 通过 ISA 增强优化推理内核：向量引擎为关键推理内核增加了优化，包括 softmax、低精度数据转换及其他操作。
• 高效的片上数据移动，Maia 300 将内存从统一组织改为跨芯粒的非统一（NUMA）组织。每个计算区域都有邻近的内存，SDLA 对 DMA 引擎、本地 SRAM、HBM 和片上网络的显式控制将数据放置在使用它的计算单元旁边。数据移动距离更短，从而减少了移动数据所消耗的能量。
• 针对每瓦带宽优化的内存层次结构，将软件管理的片上 SRAM 与八个 HBM4 堆栈相结合，每个加速器提供 288 GB 容量和 18 TB/s 带宽。与 Maia 200 相比，这带来了 2.5 倍的内存带宽、33% 更多的容量，以及约 2 倍的每瓦 HBM 带宽，使更多模型和 KV 状态靠近计算单元。

与 Maia 200 相比，Maia 300 带来 2.5 倍的内存带宽、33% 更多的容量，以及约 2 倍的每瓦 HBM 带宽

单一扩展架构：从 pod 到 superpod

Maia 300 使网络成为其软件定义数据流架构的原生扩展。Maia 的 AI 网络控制器基于以太网实现定制 AI 传输。两层网络构建了高性能 superpod，最多可容纳 12,288 个加速器。Maia 向软件呈现一种通信模型——使用相同的语义将数据直接移动到 superpod 内的任意加速器。

• 半交换式机架内拓扑
  每个加速器将其扩展连接分为直接链路和交换路径。直接链路连接托盘中的两个加速器，而交换架构连接机架内所有 96 个加速器以形成一个 pod。所有机架内连接均使用电气链路以降低功耗和成本。
• 跨机架的光学第二层
  第二层交换机将最多 128 个机架连接在一起形成一个 superpod。光学器件提供了将扩展网络跨 pod 延伸所需的覆盖范围。

• 单一架构，而非独立的纵向扩展与横向扩展域
  集成网络控制器与专用 AI 传输在 pod 内部和跨 superpod 时使用相同的通信语义。Maia 加速器可以直接向 superpod 中的任意加速器发起通信，无需主机或独立横向扩展网卡参与。
• 低跳数通信路径
  存在三个延迟域：直连的加速器对是延迟最低的域，其次 pod 内的加速器相距一个交换机跳数，跨 pod 的任意加速器相距三个交换机跳数。软件可以将延迟敏感的张量并行流量保持在最低延迟域内本地运行。
• 带宽按工作负载分配
  每个加速器在机架内带宽与跨机架带宽之间的分配比例并非在系统设计时固定，而是根据作业打包情况设定的参数。当只有一部分加速器跨机架通信时，单个加速器可向 superpod 内任意对端提供高达 750 GB/s 的带宽。参见下方的备用托盘示例。
• 灵活的作业放置
  张量并行可以保持在 96 加速器的机架内，而更宽泛的专家并行和流水线并行则跨机架展开。作业可以使用跨机架边界的容量，从而在工作负载规模与物理机架配置不匹配时减少闲置加速器。

• 纵向扩展域内的解耦推理
  预填充和解码工作进程可以独立设定规模并独立放置。预填充计算完成后，KV 状态通过同一纵向扩展架构直接移动到选定的解码工作进程，而不是经由独立的主机中介横向扩展路径离开该域。
• 跨机架韧性
  当加速器不可用时，调度器可以透明地对软件内核使用 superpod 内另一机架的热备容量。工作负载仍留在纵向扩展架构上，以额外的路径延迟换取更高的可用性和资源利用率。

面向部署效率的机架级架构

在数据中心规模下，效率取决于在固定的功耗和散热范围内能够部署和运行多少有用的基础设施。基于 Maia SoC 架构的基础能效，Maia 300 机架协同设计了服务器布局与密度、网络拓扑与交换、功耗与散热设计以及高级遥测，相比 Maia 200 可提供高达 2.5 倍的每瓦性能。

• 167 kW 内集成 96 个加速器
  Maia 300 在 167 kW 的机架内通过 24 个四加速器托盘集成 96 个加速器，将加速器密度较 Maia 200 翻倍。每个托盘包含四个加速器及其主机处理器、内存、存储和散热。取消独立的主机托盘释放了机架空间，并允许将功耗和散热资源作为一个系统进行管理，从而提高每个机架内部署的推理容量。

• 整合式交换机架构
  六个高基数交换机 ASIC 集成到三个液冷交换机托盘中，为全部 96 个加速器提供机架本地连接，同时最大限度地减少交换所占用的空间和功耗。
• 机架级供电
  双路电源输入、高容量电源架和 50 V 母线架构在加速器和交换机托盘之间高效分配电力，同时提供运行冗余。集成的机架自动转换开关即使在单路电源输入因维护而离线时也能保持高可用性。
• 灵活的冷却架构
  液冷从加速器、电压调节器和交换机 ASIC 中带走机架超过 80% 的热负载，而风冷则支持内存、存储和其他辅助组件。Maia 300 在具备条件时可直接接入设施水，或使用热交换单元在风冷数据中心环境中排热。这为系统大规模部署的地点和方式提供了更大的灵活性。
• 数据中心集成遥测
  我们融入了部署经验，以增强可靠性、可用性和可维护性（RAS）、可观测性、可调试性、故障处理和冗余，随着我们部署更多容量而不断提升稳健性。机架和行级电力遥测与数据中心运营相连，使运行点能够根据可用电力和冷却容量进行管理。这些数据为算法提供依据，动态分配电力并优化工作负载放置和部署密度，从而提高利用率和每瓦交付的 token 数。

Maia 300 带来什么

Maia 300 是规模化部署高效 AI 系统的多代计划中的下一步。该设计在软件、芯片、物理机架基础设施、网络和数据中心方面进行了端到端优化，为云规模智能体推理带来性能和效率的飞跃。

相对于 Maia 200，Maia 300 在其完整的 96 加速器配置中提供高达 7 倍的机架级 token 吞吐量，以及超过 2.5 倍的每瓦性能。它带来更高的每瓦内存带宽和每机架两倍的加速器数量，同时基于我们的软件定义数据流架构 SDLA 和两级 scale-up 网络，支持从内核到数据中心规模的单一编程模型。这些进步共同使我们能够更高效地向更多人和组织提供更有用的智能。

与 Maia 200 相比，Maia 300 提供高达 7 倍的机架级 token 吞吐量和超过 2.5 倍的每瓦性能

未来的机遇不仅仅是构建更多算力，而是让先进的 AI 能力更易获取、更可负担、更有用。Maia 300 是朝着这一目标迈出的重要一步。

下个月在旧金山及线上举行的 Microsoft Ignite 2026 上，我们期待分享更多关于我们的 AI 战略、技术采用趋势以及 Frontier Transformation 成功的信息。

在此阅读最新的 Azure Maia 300 新闻。

在此了解更多关于 Azure Maia 300 的信息。

在此了解更多关于 Azure 从芯片到系统的方法。