Strata 用专家缓存让 12GB 显存跑 1250 亿参数模型

Strata 提出用专家缓存的方式，让只有 12 GB 显存的电脑运行 1250 亿参数的 MoE 模型，读取 3.2 万 token 的提示词耗时从五分多钟降到约 21 秒。 报道同时指出，标题所称的「六倍」提速实际是跨量化版本对比的结果；在同一量化版本下，生成速度仅提升 2–4 倍。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。