个人开发者用 AI 十天写出 Strata 引擎，让 12GB 显存跑起 1250 亿参数的 Qwen 3.8 Flash Next

Saito· @SaitoWu · X·2026-10-21 17:45· 1 小时前AI 评分75

AI 导读

作者复盘 Strata 引擎如何让 12GB 显存跑 1250 亿参数的 Qwen 3.8 Flash Next，核心是专家缓存加 CPU 分工，prompt 读速最高达 llama.cpp 的 15 倍，写速同版本比约两到四倍。文章逐项核对倍速数据的版本口径，指出压缩版在三项高难度测试保留完整模型 99.4% 分数，但专家缓存会带来输出偏差，且 64GB 内存门槛下对比 API 价格未必划算。

正文 · 原文

1250 亿参数的模型，12GB 显存只动得了其中 2%。一个 token 在 24576 个专家里只用 10 个，没上操作台的交给 CPU 在内存里算。一个人用 Claude 和 Codex 写了十天，llama.cpp 求了一年的专家缓存，他两周就做出来了。 https://x.com/i/article/2112842174945689600

【X 长文】一个人十天写出的引擎，让 12GB 显卡跑起 1250 亿参数模型

9 月 24 日，Reddit 的家用 AI 论坛上出现一个帖子。发帖人用 Ryzen 5 7600、64GB 内存、一张 12GB 显存的 RTX 5070，一台普通到不能再普通的 Windows 机器。同一个模型、同一个压缩版本，llama.cpp 每秒 15 个 token，他自己写的引擎 Strata 跑到 65。仓库挂上 GitHub 的时候，才建了 50 分钟。

六天后另一个人的笔记本，5070Ti，同样 12GB 显存，在已经读了 43000 个 token 的对话里，还有每秒 51 个 token。一周不到，这个仓库收了 8163 个星。

我本来准备按老套路划走，以为又是把模型压到半傻换一个好看的数字。翻完原始表格才发现，标题没提的那部分才是重点。

标题的六倍，是两个版本比出来的

节目作者干了件很笨的事，把官方表格一行一行对。94 除以 15 等于 6.3，那个 94 来自最快的 Q20 版本，每秒 2650 个 token 的读速也是它。llama.cpp 的 15，用的是 IQ3XS，更大也更慢的一档。两个版本相除，六倍就出来了。

同版本比：IQ3XXS 从 15 涨到 62，四倍；5070Ti 笔记本 23 到 51；7900XTX 从 22.5 到 45 到 50，刚翻倍。写作速度诚实的说法是两到四倍，看机器。他给自己定了条规矩，以后看见多少倍，都先问哪个版本比哪个版本，比的是写还是读。

等最久的，是它读完你的代码

读 prompt 的速度是另一个量级。同一台笔记本，llama.cpp 每秒读 100 个 token，Strata 读 1500 个。一条 32000 token 的首条消息，用 agent 写代码的人天天发，100 那个速度要读 320 秒，你盯着屏幕五分多钟才看见第一个字。1500 那个大约 21 秒。官方表格里最小版本在开发机上能到 2650，12 秒。等第一个字的时间就是 prompt 长度除以读速，这笔账简单到不用计算器。它把 prompt 切成每块最多 8192 个 token，显卡算这一层的时候，下一层要用的专家已经顺着 PCIe 往上送了，走廊上有人提前把罐子搬过来。

从第二条消息开始，它保留已经读过的对话，只读新加的部分。0.1.3 版拿一段 7700 token 的对话测过，第二问 0.3 秒开始出字，原来要 12.9 秒。等待全压在第一条消息上。标题里没有一条提这件事。不过现在的说明文档写的是每 3 万个 token 大约 1 分钟，比表格保守不少，作者自己也说不准你的机器会落在哪一头。

1250 亿参数，每个词只用得上 2%

模型是 Qwen 3.8 Flash Next，Qwen4 架构的预览版，1250 亿参数，全精度文件 354GB。一张 RTX 5090 才 32GB 显存，装满要 12 张卡，那是机架的活。发布前一天还有人在同一个论坛发帖，说 4080 配 64GB 内存跑同样的路子，每秒 15 到 20 个 token，这就是当时家用玩家的天花板。

能塞进 12GB，靠的是混合专家结构。48 层，每层 512 个专家，每个 token 只用其中 10 个，外加一个共享专家。全模型 24576 个专家，一个 token 动到 2%。厨房的比方可好用：显存是操作台，地方小但伸手就到；内存是隔壁食品柜，装得多，跑一趟要时间；固态硬盘是楼下储藏室，大而慢。那 24576 个专家就是罐子。

奥地利一家实验室把模型压到最小，Q20 版本 66.4GB，原版是它的 5.3 倍，可它依然是 12GB 的五倍多。通用引擎的解法是把装不下的部分丢进内存、让 CPU 来跑，能用，但大部分时间机器的大部分资源都闲着。Strata 的路子是围着这一个模型和这一类机器重写。

命中率七成，代价是答案会变

每个 token 都要用的东西钉在操作台上：注意力、路由器、共享专家，加起来约 3.5GB。12GB 扣掉这些剩 8.5GB，每 GB 大约放 700 个专家，最多约 6000 个上得了台面，四个里放一个，还要再扣掉记对话的 KV 缓存。

Strata 做的就是往剩下的空位塞最常调用的专家，边聊边换，哪个罐子开始频繁用到就搬到操作台上。论文在 4000 token 上下文里测到 72% 命中率，只按频率曲线预测是 50%。没上操作台的专家交给 CPU 在食品柜里算，显卡算自己这边，两头同时干。2bit 版本、4000 上下文，一轮 33 毫秒，CPU 等显卡约 14 毫秒，显卡等 CPU 约 13 毫秒，配得很匀。

还有模型自带的 MTP，先拟三个候选 token，一起过 48 层验一遍，官方说输出不变、快 1.6 到 1.8 倍。

压到 3bit 的 IQ3XXS 在数学、科学、编程竞赛三项高难度测试里保住了完整模型 99.4% 的分数，92.6 对 93.1，IQ2XS 保留 95.7%。分项有落差，LiveCodeBench 上 Q20 拿 81.1，完整模型 87.4，差 6 分。实验室推荐 IQ3S，每项都追平或超过原版，代价是最慢。这些只是三项考试的结果，长时间跑 agent 没测过。

代价写在同一份文档里。9 月 27 日有人翻出它自己的提示，开了专家缓存，输出会偏离不开缓存时的结果。0.1.7 之前它还忽略温度设置，目前 179 个 issue 没关。发布帖里赞数最高的一条评论，问的正是有没有人验证过输出跟常规引擎完全一样，因为有些捷径就是靠让答案偏离原结果换速度。有人用 Claude 帮着对比，生成短句完全一致，生成一个 Python 函数从第 219 个字符开始不一样，相似度 99.4%。开发者自己说比过两项 Blender 测试和一项 JS，结果一样，其余没测，那条回复被踩到负 6 分。

先数内存，再看显卡

文档先把内存写死了：64GB 跑全部版本，推荐 IQ2XS；48GB 只装得下 Q20 或 IQ2XS；0.138 版说 6GB 显存也能启动，有人用 RTX 2060 6GB 预期每秒 3 个 token，测出来 10 个。macOS 至今不在支持列表里。

想升级，显存每多 1GB 多放约 700 个专家，可 5090 标价 1999 美元，9 月实售约 4999。内存不够，模型根本起不来。作者的结论很直白，先扩食品柜，再扩操作台。

日常体验还有几个边界。每秒 90 多个 token 只在消息短的聊天里看得到，从 0.1.36 版开始，对话到 12.8 万 token 时降到每秒 76。它一次只答一个请求，默认只留一段对话，切到另一个聊天就得重读，所以当不了团队的服务器。第一次启动电脑可能卡 1 到 3 分钟，像一次把整个食品柜塞满。

食品柜也不便宜。美国一个比价网站上 64GB DDR5 套装标 1099 美元，是 2025 年终价的四到五倍，AI 数据中心在大举扫货。他顺手算了另一笔账：Qwen 云端这个模型输入每百万 token 0.15 美元，输出 0.47，agent 一次 3.2 万输入加 1000 输出约 0.5 美分。1099 美元够 20.8 万次，一天 100 次能用近 6 年，也够 55 个月 20 美元的订阅。

一个人十天，代码大半是别的 AI 写的

这东西背后只有一个人，一台小 Windows 机器，用 Claude 和 Codex 写了 7 到 10 天，本来给自己用。让模型在你电脑上跑起来的引擎，代码大部分由别的 AI 模型写出来，这个画面有点绕。

它能做到通用引擎没做到的，是因为只适配一个模型。llama.cpp 要照顾一堆模型和一堆硬件。10 月 3 日有人说，求 llama.cpp 加专家缓存求了大约一年，Strata 两周就做出来了。同一天 llama.cpp 收到 29887 号合并请求，加的正是这个，RTX 4090 从每秒 25 涨到 39.4，5090 到 2.2 倍。

从 9 月 24 日到 27 日发了 13 个版本，10 月 3 日是第 39 个，28 日起换成 MIT 许可。安装程序里还挂了个 Swift 1.5 微调版，思考用的 token 少 63%，8 道题两个版本都答对，它用 28 秒，原版 46 秒。

规则短得可以背下来：食品柜装不下，模型就跑不起来。已经有 64GB 内存，这周就能试，代价是下载 66 到 84GB 和一个下午；要是得专门为它买内存，先去看 API 的价目表，那笔钱够你按 token 付好几年。我猜通用引擎补上缓存只要几个月，内存条的价格不会降得那么快。

更多硬核播客内容：Podwise

来源：Saito · x.com