Strata 如何让只有 12 GB 显存的电脑跑大模型

Strata 用专家缓存把 1250 亿参数的 MoE 模型塞进 12 GB 显存，读取 3.2 万 token 的提示词从五分多钟降到约 21 秒。标题里的「六倍」实为跨量化版本对比，同版本生成仅提速 2–4 倍。