Google 一年内推出四款 TPU 系统，加码与 Nvidia 竞争

凭借两款新的 TPU 变体，Google 正瞄准机密 AI 工作负载和内存密集型应用。此次扩展巩固了 Google 的战略转变，即将其自研 AI 芯片定位为面向外部客户的广泛平台。

Google 在其第八代 AI 加速器产品线中新增了两套系统：面向机密计算的 TPU 8tx 和面向内存密集型工作负载的 TPU 8i Max。Google 表示，凭借这些新增产品，该公司首次在一年内交付了四套 TPU 系统。

两款新变体均基于现有芯片构建。Google 此次并未推出新的芯片世代，而是新的系统配置：围绕同一处理器采用不同的封装、不同的网络和不同的内存设置。该公司将这种模块化方式称为一种刻意的设计选择，使其能够在数月而非数年内交付新的硬件变体。

TPU 8tx 即使在处理过程中也能保持敏感数据加密

TPU 8tx 面向处理机密数据的企业和政府机构。通常情况下，数据在存储和传输过程中会被加密，但一旦处理器对其进行处理，就必须在内存中解密。

TPU 8tx 旨在填补这一空白。据 Google 称，数据和模型权重即使在活跃使用期间也能保持受保护和隔离。Nvidia 已通过其机密计算架构为 GPU 提供类似功能。

该系统采用 Google 为实时推理开发的低延迟 Boardfly 网络，据称相比 TPU 8t 可将延迟降低多达两倍。Google 表示，企业可以使用单一系统对模型进行微调、将大模型蒸馏为小模型，并通过强化学习训练 AI 智能体，而无需在不同集群之间移动敏感数据。

TPU 8i Max 解决的是另一个问题：内存瓶颈。当 AI 智能体同时处理大型代码库或数小时视频时，内存带宽成为瓶颈。Google 通过将两颗 TPU 8i 芯片置于单一封装上来解决这一问题。

其结果是，在相同机架规格下，算力翻倍、内存翻倍、内存带宽翻倍，这意味着每平方米数据中心空间的性能显著提升。

除硬件外，Google 正努力让 TPU 更易于使用。该公司已将 TorchTPU 作为开源项目发布，因此 PyTorch 代码只需极少改动即可在 TPU 上运行。vLLM 和 SGLang 等流行的推理框架也得到支持。

此次扩展是对 Google 战略转变的直接回应：从将 TPU 视为纯内部工具，转变为将其作为面向外部客户的竞争性平台进行推广。该公司目前拥有近 100 家外部 TPU 客户。

更广泛的市场趋势正在推动这一进程。随着 AI 应用的普及，焦点正从昂贵的训练运行转向推理，即模型的日常运行。TPU 等专用芯片恰好可以在这一领域发挥其优势。这也是 Amazon、Microsoft 和 OpenAI 都在开发各自加速器的原因。

英伟达的回应是，通过对 Groq 的收购式招聘与授权协议来强化自身的推理产品。

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限，以及评论区访问权限。