llama-modchip 让 284B DeepSeek-V4-Flash 在 64GB 内存纯 CPU 上运行

打破 64 GB 内存墙：在纯 CPU 上以 256K 上下文运行 284B DeepSeek-V4-Flash（< 59 GiB 内存）与 30B MoE（最高 111 tok/s）——无需任何 GPU。

⚡ 快速开始 · 🧩 支持的模型 · 🖥️ 支持的芯片与平台 · 🏆 排行榜 · 📄 预印本 PDF（paper/） · 📐 架构 · ❓ 常见问题

284.33B
_{前沿 MoE 参数量}

56.56 GiB
_{磁盘上的检查点}

57.61 GiB
_{256K 上下文下的峰值 VmRSS}

44.36 tok/s
_{284B CPU 预填充}

60.4–111.6 tok/s
_{30B MoE CPU 解码}

13.1 ms
_{Claude Code 恢复}

0
_{所需 GPU 数量}

在你已有的 CPU 工作站上实时运行前沿与智能体 MoE 推理——100% 驻留内存，零 NVMe 交换：

你拥有的机器	内存	推荐模型	速度（0 GPU）	发生了什么
开发者笔记本 / 迷你主机	16–32 GB	Nemotron-3.5-30B-A3B（`14.35 GiB`）	25.0–60.4 tok/s	46 层 Mamba-2 SSM + 1.64 MB L3 Stockfish-PVS 草稿器；6 GiB KV 支持 256K 上下文
64 GB 台式机 / 服务器	64 GB	DeepSeek-V4-Flash 284B（`56.56 GiB`）	44.4 tok/s pp · 9.1–14.7 tok/s tg	SwiGLU-H2 节省 20.31 GiB；整个 284B 模型 + 256K 上下文驻留内存（57.61 GiB VmRSS）
混合台式机（CPU + 16 GB GPU）	32–64 GB	Nemotron-30B / Qwen3-30B	80.80 tok/s	热注意力主干在 GPU（`-ngl 99`），冷路由 MoE 专家在 CPU DDR5
8 通道工作站（Threadripper）	128 GB+	DeepSeek-284B / Nemotron-30B	111.62 tok/s（30B）	8-CCD AVX-512BW `_1x8` 寄存器分块饱和 8 通道 DDR5 内存带宽

TL;DR——llama-modchip 的三大范式突破支柱：

🐋 64 GB CPU 机器中的 284.33B 前沿 MoE：将 DeepSeek-V4-Flash 从 76.87 GiB（在 64 GB Linux 上会因 OOM 崩溃）缩减至磁盘上 56.56 GiB / 完整 256K 上下文下 57.61–58.9 GiB VmRSS（44.36 tok/s 预填充、9.06–10.74 tok/s 纯 CPU 解码、11.5–14.7 tok/s 配合 PVS），采用闭式解析 SwiGLU-H2 二阶 Hessian 压缩 + Fractal-64（Q2_0、3.75 bpw）MLA 转码 + 4 级寄存器（ZMM AVX-512BW）+ L1D（32 KB）+ L2（1 MB）+ L3（64 MB）全模型分块 + $L_2$ 求积 MoE 剪枝。

⚡ 纯 CPU 上达到 GPU 速度的 30B MoE：在 16 核 Zen 5 上以 25.0–60.4 tok/s 运行 NVIDIA-Nemotron-3.5-30B-A3B 于 14.35 GiB（Threadripper 上 111.6 tok/s，AMD Vulkan 混合模式 80.8 tok/s，AWS Graviton3 ARM64 上 44.97 tok/s），通过 1.64 MB Stockfish-PVS v2 + RouteCrack L2/L3 草稿器（96.4% 接受率）与 _MM_HINT_NTA L3 缓存隔离（HARPCache）实现。

🤖 零 API 的 Claude Code（./modchip claude）：通过 /dev/shm Slot-0 KV 热恢复（Nemotron-30B 上 18.9 ms / DeepSeek-284B 上 13.1–32.6 ms）消除 45 秒的 CPU 智能体提示重评估瓶颈，且全部 40 个 Claude Code 工具均处于激活状态。

⚡ 快速开始

🐧 Linux 与 🍎 macOS（一条命令自动安装与聊天）

git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat

⚡ 零编译直接运行（预编译 Linux `x86_64` 二进制 + Hugging Face `.gguf`）

⚠️ 重要兼容性说明（GGML_TYPE_Q2_0 = 40）：我们的 Fractal-64 模型使用自定义 block-64 BF16 尺度 Gray 编码张量（GGML_TYPE_Q2_0，类型 ID 40）以及自定义 deepseek4 / Stockfish-PVS 内核。在未打补丁的 llama.cpp、Ollama 或 LM Studio 中打开它们会因 unknown tensor type 40 而失败。请使用上方的 ./modchip，或直接使用打包在 Hugging Face 仓库和 GitHub Release v2.4.0 内的独立单文件预编译二进制（llama-server-modchip-linux-x86_64，零 .so 依赖）：

# 1. For 30B Nemotron-3.5-A3B (14.35 GiB — runs in 16–32 GB RAM at 25–60.4 tok/s):
hf download Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \
  llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir .
chmod +x llama-server-modchip-linux-x86_64
./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080

# 2. For 284B DeepSeek-V4-Flash (56.56 GiB — fits in 64 GB RAM at 9.1–14.7 tok/s):
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf -c 32768 -t 16 -fa on --port 8080

🪟 Windows 10/11（一键混合 GPU + CPU MoE 包）

打开 windows/ 并双击 windows/AVVIA_MODCHIP.bat（或在 Git Bash 中运行 ./modchip start）。它会自动检测你的 CPU 核心数、可用内存和 GPU 显存（nvidia-smi），下载官方 llama.cpp CUDA 12.4 / Vulkan 二进制文件，计算最优的 --n-cpu-moe 拆分方案，并打开 Web 聊天界面（http://127.0.0.1:8080）。

`./modchip` 命令	功能说明
`./modchip chat`	💬 交互式终端聊天，实时显示 `tok/s`、TTFT 和 `Stockfish-PVS` 接受遥测数据
`./modchip web`	🌐 打开深色模式 Web 聊天与实时遥测 HUD（`http://127.0.0.1:8787`）
`./modchip bench`	📊 运行 30 秒两阶段速度测试，并打印可分享的CPU 基准评分卡
`./modchip claude`	🤖 启动Claude Code CLI（`40 tools`），接入本地 256K 引擎（`18.9–32.6 ms` 热恢复）
`./modchip eval`	🧪 运行可复现的100 分质量、工具调用、编码与 8.5K 针检索门禁
`./modchip quantize`	🗜️ 将 `BF16`/`Q4_0`/`IQ2_XXS` GGUF 转码为 `Fractal-64`（`3.75 bpw`）或 `Fractal-MXFP4`（`4.25 bpw`）
`./modchip status` / `stop`	🔍 检查 CPU 就绪状态、`2MB HugePages` 和 `/dev/shm` IPC，或停止后台服务

🏆 你的 CPU 能在 64 GB 内存中运行 284B 前沿 MoE 吗？2 秒内测试（零下载）：

curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3

👉 将你的终端评分卡粘贴到 📊 一键 GitHub 基准 Issue 或 GitHub Discussions，即可加入官方社区 CPU 排行榜！

🧩 支持的模型与模型专属优化

每个模型系列都有专门的深度优化指南，包含精确的数学证明、算子级延迟分解和质量门禁基准：

模型系列	总参数 / 激活参数	磁盘（`GGUF`）与 `256K` 内存（`VmRSS`）	已实现的关键优化	实测速度（`16C Zen 5` / 混合）	详细指南
🚀 `NVIDIA-Nemotron-3.5-30B-A3B` （`Fractal-64` / `MXFP4` / `Q4_0`）	`30.2B` / `3.0B` （`23 SSM + 23 MoE + 6 GQA`）	`14.35 – 17.59 GiB` （`15.4 – 21.7 GiB` RSS）	• Block-64 `Fractal-64`（`3.75 bpw`）与 `MXFP4`（`4.25 bpw`）（`100/100` 质量门禁） • `Stockfish-PVS v2 (M=7)` + `RouteCrack`（`1.64 MB` L2/L3 Zobrist TT） • `432 MB` 256K EAKV（`Q8_0/Q4_0`） + `_MM_HINT_NTA` L3 隔离 • `18.9 ms` `/dev/shm` Slot-0 恢复（`~6,800x` 更快的热轮次）	`25.0 – 60.4 tok/s`（`0 GPU`） `80.8 tok/s`（`Vulkan Hybrid`） `111.6 tok/s`（`Threadripper`）	📖 Nemotron 指南
🐋 `DeepSeek-V4-Flash-0731-Fractal` （`SwiGLU-H2 + Fractal-64`）	`284.33B` / `13.17B` （`43L MLA + 256+1s MoE`）	`56.56 GiB` （`-20.3 GiB`）（`58.9 GiB` RSS* — 可容纳于 `64 GB`！）*	• 解析二阶 `SwiGLU-H2` MoE + `Fractal-64` MLA 转码 • 四级寄存器（`ZMM` AVX-512BW）+ L1D（`32KB`）+ L2（`1MB`）+ L3（`64MB`）多列（`{8,4,3,2}`）预填充分块（`25.0 -> 44.36 tok/s`，`+77%`） • 寄存器驻留 AVX-512 `MQA8` FlashAttention（`2.0x`）+ AVX-512 `quantize_row_q8_K` • $L_2$ 求积 MoE 剪枝 + L1 本地 Gate-First SwiGLU（`10.74 tok/s`） • *`wo_b wo_a` 的精确 SVD**（`-25%` 秩下 `99.82%` CosSim）与 $O(1)$ 回滚修复	`43.2–44.4 tok/s` （预填充） `9.06–9.95 tok/s` （无损） `9.87–10.15 tok/s` （`Top-5 L2`） `10.41–10.74 tok/s` （`Top-4+SwiGLU`） `11.5–14.7 tok/s` （`PVS`）	📖 DeepSeek-V4 指南
⚡ `Qwen3-30B-A3B` & `Qwen3-14B` （`Q3_K_M` / `Q4_K_M`）	`30.5B` / `3.3B -> 1.7B` （`48L GQA`，`128` 实验性）	`13.70 – 17.28 GiB` （`14.5 – 19.4 GiB` RSS）	• 保范动态 MoE Top-K（`8 -> 4`，`+38.5%` 解码） • 3:1 交错 SWA 安全锁（`LLAMA_SWA_STRIDE=4`） • Windows `11 GB VRAM + 16 GB RAM` 混合拆分（`--n-cpu-moe N`）	`34.80 tok/s`（`0 GPU` Top-4） `50–58 tok/s`（`14B` RTX 2080 Ti）	📖 架构 §3.9
🏎️ `NVIDIA-Nemotron-H-8B-128K` （`Q8_0` / `Q4_K_M`）	`8.0B` 稠密（`48 SSM + 4 GQA`）	`4.60 – 8.00 GiB` （`210 MB` KV @ `128K`）	• 48 层 Mamba-2 SSM 恒定内存主干 • 在 `8–11 GB` 显卡上 100% GPU 显存驻留（`0 GB` 系统内存）	`100+ tok/s`（`RTX 2080 Ti`） `147.6 tok/s`（`CPU pp512`）	📖 Nemotron 指南

🖥️ 支持的芯片与处理器专属优化

每个受支持的处理器和 GPU 混合方案的完整微架构细节与调优参数均记录在 docs/HARDWARE_OPTIMIZATIONS.md 中：

处理器 / 平台	已验证硬件	已启用的硬件专属优化	平台指南与脚本
AMD Zen 5（`Desktop / Mobile / Server`）	`Ryzen 9 9955HX`、`9950X`、`EPYC 9005 Turin`	• 单周期 512 位 AVX-512（`VPDPBUSD`、`VPRORVQ`、`VBMI`、`BF16`） • 多头 `wo_a` 投影上的 `48 KB` L1D 3D 分块（`TILE_I0=64`） • `_MM_HINT_NTA` Victim-L3 隔离（`64 MB`） + `2MB` THP（`6.14 GB` L2 STLB）	📖 硬件指南 §2.1 `install.sh`
AMD Zen 4 多 CCD（`Threadripper / EPYC`）	`Threadripper PRO 7985WX`（`64C/128T`、`8 CCDs`、`256 MB` L3）	• 动态 sysfs L3 CCD 拓扑发现（`scripts/llama_modchip.py`） • 确定性 `4C/CCD` 步长（`-t 32`）：避免 Infinity Fabric 饱和（比 `-t 64` 快 `+54%`）	📖 硬件指南 §2.2 Issue #1
AMD 3D V-Cache + Radeon Vulkan 混合	`Ryzen 9 7945HX3D`（`128 MB` L3）+ `RX 9070 XT 16GB`（`RADV`）	• 张量角色拆分（`-ngl 99 --n-cpu-moe N --load-mode none`） • 原生 Vulkan `SSM_SCAN` + `Fractal-MXFP4`（`15.2 GB`）GPU 着色器（256K 下 `80.8 tok/s`）	📖 硬件指南 §2.3 `FAQ.md` Q8
Intel / AMD + NVIDIA RTX（`Windows 10/11`）	`Core i9-9900K / 14900K` + `RTX 2080 Ti 11GB / 3090 / 4090`	• 单周期 AVX2 `vpsllvd + vpmaddwd` 子尺度融合 • 实时显存 `--n-cpu-moe` 求解器（`550 MB` WDDM 预留） + `_WIN32` `CreateFileMappingA`	📖 Windows 指南 `windows/modchip_win.ps1`
Apple Silicon（`M1 / M2 / M3 / M4`）	`Apple M4 Pro`（`14C CPU + 20C GPU`、`24 GB` 统一内存）	• 零拷贝统一内存 Metal 着色器 + ARM64 NEON/AMX • `0`-Swap `128K` 上下文预算（`384 MB` KV）+ `Stockfish-PVS v2`	📖 Apple Silicon 指南 `apple-silicon/`
ARM64 云端与边缘（`AWS Graviton / Ampere`）	`AWS Graviton3 m7g.2xlarge`（`8 vCPU Neoverse-V1`、`32 MB` L3）	• ARMv8.4-A DotProd（`SDOT`）+ 256 位 SVE + 每核 1 vCPU 绑核（`-t 8`） • `32 MB` 系统级缓存（`SLC`）保留（`44.97 tok/s` 解码）	📖 硬件指南 §1 Issue #2
AMD Zen 4 紧凑型迷你主机（`Fedora / Linux`）	`Ryzen 7 8745HS`（`GEEKOM A8`、`8C/16T`、`16 MB` L3 + `780M`）	• AVX-512 VNNI + `16 MB` L3 窗口自动调优（`LLAMA_KV_L3_WINDOW=1024`） • 可选 `Radeon 780M` UMA iGPU 卸载	📖 Fedora 指南 `fedora/nemotron.sh`

📊 主要基准测试：纯 CPU 与混合方案汇总

1. `DeepSeek-V4-Flash 284B`（`13.17B` 激活）在 `64 GB` Zen 5 CPU 上（`AMD Ryzen 9 9955HX`，`0 GPUs`）

完整的算子级性能分析与数学证明见 docs/DEEPSEEK_V4_OPTIMIZATIONS.md：

`DeepSeek-V4-Flash-0731-Fractal`（`56.56 GiB` @ `256K` 上下文）	预填充（`pp512`）	纯解码（`N=1`）	使用 `Stockfish-PVS`	概率余弦相似度	KL 散度（$\Delta$ PPL）	Top-1 / Top-3 匹配
标准 `IQ2_XXS`（`76.87 GiB`，未打补丁）	🔴 64GB 上内存溢出	`5.91 tok/s`（`169.3 ms`）	不适用（回滚缺陷）	`1.00000`	`0.0000` (`0.00%`)	`100% / 100%`
1. `v2.4.0` 无损（`Top-6` 全部层，默认）	`43.16 – 44.36 tok/s` （`+77.1%`）	`9.06 – 9.95 tok/s`	`11.5 – 14.7 tok/s`	`1.00000`	`0.0000`（`0.00%` 位精确）	`100% / 100%`
2. `v2.4.0` 最佳平衡点（`Top-5` 在 `il >= 3` 上，$L_2$ 求积）	`43.16 – 44.36 tok/s`	`9.68 – 9.87 tok/s`	`12.2 – 15.1 tok/s`	`0.99714`	`0.0042 nats`（`+0.42%` PPL）	`95.8% / 100%`
3. `v2.4.0` `Top-5 L2` + 门控优先 SwiGLU（`80/128` $L_2$）	`43.16 – 44.36 tok/s`	`10.15 tok/s`（`98.5 ms`）	`12.8 – 15.6 tok/s`	`0.99385`	`0.0531 nats`	`100% / 100%`
4. `v2.4.0` Turbo `10+`（`Top-4 L2` + 门控优先 SwiGLU）	`43.16 – 44.36 tok/s`	`10.12 – 10.74 tok/s`（`93.2 ms`）	`13.0 – 16.0 tok/s`	`0.99126`	`0.0281 – 0.0694 nats`	`100% / 100%`

2. `NVIDIA-Nemotron-3.5-30B-A3B`（`3.0B` 激活）在 `256K` 上下文下（`AMD Ryzen 9 9955HX`，`0 GPUs`）

完整的消融实验表格与 100/100 质量门报告见 docs/NEMOTRON_OPTIMIZATIONS.md：

量化配置	磁盘大小	空闲 `VmRSS`（`256K`）	质量门（`100` 分）	预填充（`pp512`）	基础解码（`N=1`）	`Stockfish-PVS v2 (M=7)` 重构
`Baseline-Q4_0`（官方 GGUF）	`17.59 GiB`	`21.41 GiB`	`100.0 / 100.0`	`241.0 – 306.8 tok/s`	`19.54 tok/s`	`40.91 avg / 45.43 peak tok/s`
`Fractal-MXFP4`（`4.25 bpw`）	`15.95 GiB`	`17.46 GiB`	`100.0 / 100.0`	`241.0 – 306.8 tok/s`	`26.08 tok/s`（`+33.5%`）	`48.39 avg / 60.40 peak tok/s` （`80.8` Vulkan）
`Fractal-64-BF16`（`3.75 bpw`）	`14.35 GiB`	`15.40 GiB`（`-6.01 GiB`）	`100.0 / 100.0`	`241.0 – 306.8 tok/s`	`25.02 tok/s`（`+28.0%`）	`48.39 avg / 60.40 peak tok/s` （`96.4%` 精度）

🏆 社区 CPU 与混合排行榜

运行 ./modchip bench（Windows 上运行 windows\BENCHMARK_PC.bat），然后➕ 提交你的成绩单（一键 GitHub Issue）！

硬件平台（`CPU / SoC / Hybrid`）	核心数 / 缓存	内存	预填充（`tok/s`）	解码 — 散文 / C++20	解码 — `Stockfish M=7` 突发	配置与贡献者
AMD Threadripper PRO 7985WX（`Zen 4`）	`64C/128T`（`8 CCDs`，`256 MB` L3）	`256 GB` 8 通道 DDR5-6000（`0 GPU`）	`386.00` （`-t 32`）	`73.84 – 80.14 tok/s` （`70.0%` 精度）	`111.62 tok/s` 热 / `80.14` 冷（`-t 32` 4C/CCD）	`@aifartist`（Issue #1）
AMD Ryzen 9 7945HX3D + RX 9070 XT（`Hybrid`）	`16C/32T`（`128 MB` 3D V-Cache）+ `16 GB` Vulkan	`94 GB` DDR5 + `16 GB` 显存	`563.00` （256K 上下文）	`75.10 tok/s` （`MXFP4` 15.2GB）	`80.80 tok/s` （Vulkan `SSM_SCAN` + `MXFP4` MoE）	`Community (RADV/Vulkan)`（`FAQ.md`）
AMD Ryzen 9 9955HX（`Zen 5`）	`16C/32T`（`2 CCDs`，`64 MB` L3）	`64 GB` DDR5（`0 GPU`）	`241.0` （峰值 `306.8`）	`25.02 – 34.5 tok/s` （`Fractal-64` / `MXFP4`）	`48.39 avg / 60.40 peak` （`len 6.90`）	`@synchopate`（`docs/NEMOTRON_OPTIMIZATIONS.md`）
Apple M4 Pro（`14-Core SoC`）	`14C CPU + 20C Metal`	`24 GB` 统一内存（`0 Swap`）	`256.0 – 549.0`	`47.0 – 48.0 tok/s` （128K）	`49.0+ tok/s`	`@jarorosFork`（`apple-silicon/`）
AWS Graviton3 `m7g.2xlarge`（`ARM64 Neoverse-V1`）	`8 vCPU`（`32 MB` L3，`SVE-256`）	`31 GB` DDR5（`0 GPU`）	`101.67` （`-t 8`）	`41.05 tok/s` （C++20）	`44.97 tok/s` （重构）	`@gerchik`（Issue #2）
AMD EPYC 7402P（`Zen 2 Rome` · `AVX2-only`）	`24C/48T`（`8 CCDs`，`128 MB` L3）	`128 GB` 8 通道 DDR4（`0 GPU`）	`158.73` （`-t 24`）	`27.29 tok/s` （C++20，`567 ms` TTFT）	`31.22 tok/s` （冷运行 1，`66.7%` 精度）	`@AdamKlob`（Issue #6）
AMD Ryzen 9 9950X（`Zen 5 Desktop`）	`16C/32T`（`2 CCDs`，`64 MB` L3）	`64 GB` DDR5-6800（`0 GPU`）	`135.64` （v2.1 `Q4_0`）	`20.78 tok/s` （C++20，`526 ms` TTFT）	`24.67 tok/s` （冷运行 1，`66.5%` 精度）	`@nadams`（Issue #5）
Windows 11 混合模式 (`i9-9900K + RTX 2080 Ti 11GB`)	`8C/16T` (`16 MB` L3) + `11 GB` CUDA	`16 GB` DDR4 + `11 GB` GDDR6	自动 CUDA 12.4	`50–58 tok/s` (`14B`) / 30B 混合模式	`100+ tok/s` (`Nemotron-H-8B` 128K)	`windows/`
AMD Ryzen 7 8745HS (`GEEKOM A8`)	`8C/16T` (`16 MB` L3)	`64 GB` DDR5-5600	已在 Fedora 44 上验证	已验证 (`ngram`)	已验证 (`CPU` & `780M`)	`@jarorosFork` (`fedora/`)
🐋 在 Ryzen 9 9955HX 上运行 `DeepSeek-V4-Flash 284B`	`16C/32T` (`2 CCDs`, `64 MB` L3)	`64 GB` DDR5 (`58.9 GiB` RSS @ `256K`)	`43.16 – 44.36 tok/s` (`32.6 ms` Slot-0)	`9.06 – 10.74 tok/s` (`13.17B` 活跃)	`11.50 – 14.69 tok/s` (`94.5%` PVS 加速)	`@synchopate` (`docs/DEEPSEEK_V4_OPTIMIZATIONS.md`)

🛠️ 点击展开：仓库结构与手动 CMake 构建说明

llama-modchip/
├── modchip                                    # Unified CLI (setup | start | chat | bench | eval | quantize | web | claude | stop)
├── install.sh                                 # 1-Command Automated Installer (Linux)
├── README.md / ARCHITECTURE.md / FAQ.md       # Clean Overview, Full Mathematical Paper & Engineering FAQ
├── RELEASE_NOTES.md                           # v2.4.0 Release Notes
├── docs/
│   ├── NEMOTRON_OPTIMIZATIONS.md              # Deep-dive on Nemotron-3.5-30B-A3B & Nemotron-H-8B optimizations
│   ├── DEEPSEEK_V4_OPTIMIZATIONS.md           # Deep-dive on DeepSeek-V4-Flash 284B profiling, SVD & L2-quadrature MoE
│   └── HARDWARE_OPTIMIZATIONS.md              # Chip-by-chip optimizations (Zen 5, Threadripper, Vulkan, CUDA, Metal, ARM64)
├── patches/
│   ├── deepseek-v4-flash-fractal-256k.patch   # Unified v2.4.0 patch (DeepSeek-V4-Flash 284B + Nemotron-3.5 30B, Linux/macOS/Windows)
│   └── zen5-nemotron-256k-optimizations.patch # Standalone ggml/llama core patch for Nemotron-3.5
├── windows/                                   # 1-Click Windows 10/11 Hybrid GPU+CPU MoE Pack (AVVIA_MODCHIP.bat, modchip_win.ps1)
├── apple-silicon/                             # Apple M4 Pro (24 GB) Metal setup & 128K benchmarks
├── fedora/                                    # Fedora 44 / AMD Ryzen 7 8745HS (GEEKOM A8) all-in-one script
├── speculative/                               # RouteCrack + Stockfish-PVS v2 (rc_stockfish.h, ngram-map.cpp, 96+ techniques)
├── benchmarks/                                # eval_quality_and_tools.py (100-pt Quality Gate) & results/*.json
├── gateway/sse_gateway.py                     # Agentic SSE Proxy + Compact Tool Table + Dark-Mode Web Chat HUD (:8787)
└── scripts/                                   # build_fractal_moe_gguf.sh, transcode_dsv4.{c,py}, chat.py, llama_modchip.py

🏢 企业与硬件赞助

llama-modchip 证明，现代多核 CPU 和配备 64–128 GB DDR5 内存的紧凑型 Mini-PC 可以在完整的 256K 上下文下本地运行 284B Frontier MoE (DeepSeek-V4-Flash) 和 30B 混合 MoE (Nemotron-3.5-30B-A3B)——从而为气隙隔离的企业代码智能、安全审计和自主智能体集群消除了 30,000 美元以上的多 GPU 硬件需求。

我们积极与 硬件制造商、云芯片团队和 AI 研究实验室 合作，构建并验证针对特定架构的内核补丁：

🖥️ CPU 与工作站 OEM 厂商 (AMD Ryzen AI / Threadripper / EPYC, Minisforum, Framework, System76, Apple, Intel)：赞助一台物理测试机或工作站，即可获得专属的 L1D/L2/L3 缓存分块与 SIMD 内核，并在 官方 README CPU 排行榜 上获得永久验证。
☁️ 云与 ARM64 芯片团队 (AWS Graviton4, AmpereOne, Google Axion, Azure Cobalt)：赞助云计算资源，以验证 SVE2 / SME / 多路 NUMA 内核。
🤝 企业支持与自定义模型转码：通过 GitHub Issues 或 GitHub Sponsors 联系我们，以赞助自定义 SwiGLU-H2 + Fractal-64 模型转码和本地部署。