个人开发者用 AI 十天写出 Strata 引擎，12GB 显存跑 1250 亿参数模型

个人开发者 Saito 称，他用 Claude 和 Codex 花了 7 到 10 天写出 Strata 引擎，让 12GB 显存的 RTX 5070 跑起 1250 亿参数的 Qwen 3.8 Flash Next。其复盘文章称，核心方法是专家缓存加 CPU 分工，prompt 读速最高达 llama.cpp 的 15 倍，写速在同版本下约为两到四倍。 使用条件被写死在文档里：64GB 内存可跑全部版本，推荐 IQ2XS；48GB 只装得下 Q20 或 IQ2XS；0.138 版称 6GB 显存也能启动，有人用 RTX 2060 6GB 预期每秒 3 个 token，实测 10 个。macOS 不在支持列表内。 该引擎一次只答一个请求，默认只保留一段对话，切换聊天需重读，因此无法充当团队服务器。作者建议，已有 64GB 内存者可本周尝试，代价是下载 66 到 84GB 和一个下午；若需专门购置内存，应先比较 API 按 token 计费的成本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。