Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。