MiniMax 汇总 M3.1 Flash 428B 模型本地量化方案

MiniMax（官方）· @MiniMax_AI · X·2026-11-02 04:49· 2 小时前AI 评分40

AI 导读

MiniMax 汇总了社区为 428B 的 M3.1 Flash 打造的多种本地量化与推理方案。

正文 · 原文

MiniMax M3.1 Flash，运行在更多你的硬件上。

对 428B 模型进行量化，为本地运行开辟了更多方式。更低比特的权重减少了加载模型所需的内存，以及解码过程中搬运的权重数据。要让这些节省真正发挥作用，需要细致的校准、高效的低比特内核，以及跨 GPU 和系统内存的硬件感知专家放置。

感谢从事这项工作的构建者们：

• @UnslothAI @danielhanchen — 143.9 GB 的 2-bit Dynamic GGUF 权重，并针对编码、工具使用及其他工作负载进行了校准与保真度测试。
• @ViC305 — SAGE-EXL3、token 级保真度测量以及单台 DGX Spark 方案。
• @PeasantSmith — Project Maya 量化及面向本地编码和工具使用的专家卸载。
• @MiaAI_lab — EXL3-EAQ 量化工作。
• @jundotkim + mlx-community — oQ 量化，以及在 Apple Silicon 上通过 oMLX 实现 DSpark 驱动的解码。
• @AIatAMD — 为 AMD Instinct 适配的 Quark MXFP4。
• @atomic_chat_hq — 面向本地桌面工作流的 GGUF。
• @superalesha — 结合量化权重、专家缓存和系统内存的自定义推理工作，运行于 4× RTX 3090。
每一份分享的量化、内核、测量和方案，都为下一位构建者提供了更好的起点。谢谢。

来源：MiniMax（官方） · x.com