跳到正文
RadarAI· X:MiniMax (@MiniMax_AI)·· 2 小时前AI 评分58

MiniMax 致谢 SGLang-TorchTPU 将 H3 模型部署到 TPU

MiniMax 感谢 SGLang-TorchTPU 将 H3 模型带上 TPU

AI 导读

MiniMax 转发致谢 SGLang 团队,SGLang-TorchTPU 已将 MiniMax H3 带上 TPU。

正文 · AI 翻译

MiniMax(官方)· @MiniMax_AI · X·2026-10-22 04:24· 42 分钟前AI 评分56

AI 导读

MiniMax 转发并致谢 SGLang 团队:SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共建,可将 MiniMax H3、GLM-5.3 Flash、Kimi K3 等开源模型部署在 TPU 上,并已支撑 Meta 生产环境推理。Muse Spark Open 在 InferenceX 8K/1K、bs=1 下解码达 770 tok/s,项目已在 GitHub 开源。MiniMax 表示期待高效视频推理方向更多开源工作。

正文 · 原文

感谢你们将 H3 带到 TPU 上!很高兴看到更多关于高效视频推理的开源工作,以及它可能带来的可能:更快的创意迭代、新的交互体验,以及开发者用 H3 构建的更多方式。

引用SGLang@sgl_project
今天我们推出 SGLang-TorchTPU,由 @Google TPU 团队和 Meta @PyTorch 团队共同构建。 我们很高兴看到它正在支撑 Meta 的生产环境推理! SGLang-TorchTPU 是 SGLang 的 TPU 插件,带来: - TPU 上的顶级开源模型:Muse Spark Open、GLM-5.3 Flash、Kimi K3、Ling 3.1 Flash、MiniMax H3 - SGLang 面向大型智能体工作负载的生产级特性 - 自定义 MegaKernel:Muse Spark Open 在 InferenceX 8K/1K 上、bs=1 时解码达到 770 tok/s SGLang-TorchTPU 现已可用:http://github.com/sgl-project/sglang-torchtpu
在 X 查看被引用的帖子

来源:MiniMax(官方) · x.com

来源:RadarAI · aihot.news