llama-modchip v2.4.0 让 284B 模型在纯 CPU 上运行
热点事件持续更新
llama-modchip v2.4.0 让 284B 模型在纯 CPU 上运行
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
synchopate 发布 llama-modchip v2.4.0，通过 SwiGLU-H2 压缩与 Fractal-64 量化，把 DeepSeek-V4-Flash 284B 模型从 76.87 GiB 压到 56.56 GiB，使其能在 64 GB 内存的 Ryzen 9 9955HX 上以 256K 上下文纯 CPU 运行，预填充 44.36 tok/s、解码 9.06–10.74 tok/s。 该版本还提供无需 API 的 Claude Code 调用方式（./modchip claude）。项目方称，量化后的模型若用未打补丁的 llama.cpp、Ollama 或 LM Studio 打开，会因未知张量类型 40 而失败；需使用 ./modchip 或随 Hugging Face 仓库和 GitHub Release v2.4.0 提供的单文件预编译二进制 llama-server-modchip-linux-x86_64（无 .so 依赖）。
AI 根据报道生成 · 57 分钟前更新
最新进展11月8日 18:22
llama-modchip 让 284B DeepSeek-V4-Flash 在 64GB 内存纯 CPU 上运行报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- Hacker Newsllama-modchip 让 284B DeepSeek-V4-Flash 在 64GB 内存纯 CPU 上运行
llama-modchip 项目发布 v2.4.0，通过 SwiGLU-H2 压缩与 Fractal-64 量化把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB，在 64 GB 内存的 Ryzen 9 9955HX 上以 256K 上下文纯 CPU 运行，预填充 44.36 tok/s、解码 9.06–10.74 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。