PyTorch 博客详解 Muse Spark Open 在 TPU v7 上的推理优化
热点事件持续更新
PyTorch 博客详解 Muse Spark Open 在 TPU v7 上的推理优化
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
PyTorch 博客作者（RadixArk Team 等）发布技术博客，称已用 SGLang-TorchTPU 将 Meta 的 816B 参数 MoE 模型 Muse Spark Open 部署在单台四芯片 TPU v7 主机上，并把全部 62 层的解码或验证步骤合并为一个 Pallas megakernel，同时将权重加载、KV 读取和跨设备传输流水化。 博客称相关代码已在 SGLang-TorchTPU 的 haolin/ms-v11 分支开源。测试采用 InferenceX 的 1M 上下文 trace 集，提示长度约达 990K token；上下文窗口较短的模型则运行上限为 256K 的版本。成本按 InferenceX 的外部持有成本计算：TPU v7 每芯片小时 1.21 美元，GB200 GPU 每小时 1.86 美元。
AI 根据报道生成 · 14 小时前更新
最新进展11月11日 00:45
用 SGLang-TorchTPU 在 TPU v7 上优化 Meta Muse Spark Open报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- RadarAI用 SGLang-TorchTPU 在 TPU v7 上优化 Meta Muse Spark Open
Meta 的 816B 参数 MoE 模型 Muse Spark Open 通过 SGLang-TorchTPU 部署在单台四芯片 TPU v7 主机上，把全部 62 层的解码或验证步骤合并为一个 Pallas megakernel，并将权重加载、KV 读取和跨设备传输全部流水化。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 911月11日 04:00
- 近 24 小时变化
- –
02.557.510
04:0006:0008:0010:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。