Strata 开源：125B 千问模型跑上消费级显卡
先了解这件事
开发者 Niko1221 以 MIT 许可免费开源 Strata 引擎，让 125B 参数的 Qwen3.8-Flash-Next 模型能在 12GB 及以上显存的消费级显卡上运行量化版本。据科技媒体报道，RTX 4090 上生成速度约 100 token/s，RTX 5070 上约 94 token/s。 使用门槛方面，模型下载约 70GB，需要 32GB 以上内存和约 80GB 磁盘空间。RadarAI 报道称，该引擎依靠混合专家路由机制，模型由 24576 个小型专家组成，每个 token 仅激活其中一部分；在 RTX 5070 加 64GB 内存的普通游戏电脑上，速度区间为每秒 53 到 94 token。 此前已有开发者在单张 RTX 4090 上展示该模型的可行运行方案，速度同样达到 100T/s。
AI 根据报道生成 · 3 小时前更新
事件进展
2 个进展
- 10月5日 06:15 · 3 篇报道开源 Strata 引擎支持 12GB 显存运行 125B 模型科技媒体 RSS：Strata 开源：RTX 4090 上以约 100 token/s 运行 Qwen3.8-Flash-Next (125B)
- 10月5日 04:51 · 1 篇报道Qwen 3.8 Flash Next 125B 可在消费级硬件运行Hacker News：在消费级硬件（RTX 4090）上以 100T/s 运行 Qwen 3.8 Flash Next（125B）
报道时间线
沿着报道，了解事件的不同侧面。
- RadarAIStrata 用游戏显卡在消费级硬件上跑 1250 亿参数千问大模型
Strata 通过混合专家路由机制，让 RTX 5070 加 64GB 内存的普通游戏电脑以每秒 53 到 94 token 的速度运行 1250 亿参数的千问大模型。该方案在仅有 12GB 显存的消费级显卡上运行这一规模模型，模型由 24576 个小型专家组成，每个 token 仅激活其中一部分。
- 科技媒体 RSSStrata 开源引擎让 12GB 显存显卡运行 125B Qwen3.8-Flash-Next，RTX 5070 达 94 词元/秒
开发者 Niko1221 开源推出 Strata 引擎，可在 12GB 及以上显存的消费级显卡上运行量化的 125B 参数 Qwen3.8-Flash-Next 模型。在 RTX 5070 上，该引擎运行该模型的吞吐达到 94 词元/秒。
- 科技媒体 RSSStrata 开源：RTX 4090 上以约 100 token/s 运行 Qwen3.8-Flash-Next (125B)
Strata 以 MIT 许可免费开源，让 Qwen3.8-Flash-Next (125B) 可在 12 GB 以上显存的普通游戏 PC 上运行，RTX 4090 上生成速度约 100 token/s。模型约 70 GB 下载，需要 32 GB 以上内存和约 80 GB 磁盘空间。
- Hacker News在消费级硬件（RTX 4090）上以 100T/s 运行 Qwen 3.8 Flash Next（125B）
有开发者展示了在单张 RTX 4090 消费级显卡上运行 Qwen 3.8 Flash Next（125B）的可行方案，推理速度达到 100T/s。该方案针对 125B 参数规模的模型在消费级硬件上实现了高吞吐推理。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月19日 00:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。