smolmaxxing 让旧设备运行大模型

开发者 hyperionaidev 发布开源项目 smolmaxxing，通过自定义 kernel、内存优化和权重流式加载，让低配旧设备运行 260K 到 16B 参数的大语言模型。据其介绍，约 1 GB 可用内存的小米电视盒子 S（3rd Gen）上，Qwen3.5-2B 在真实对话中达 7.7 tok/s，Moon-Beam-8B-A1B 达 7.2 tok/s；一台 13 年前的 iPad Air 上，1.7B 模型达 24-26 tok/s（长对话 18-22），4B 约 10 tok/s，8B 混合专家模型约 3.5 tok/s（减半专家可到 5 tok/s，但有质量损失），16B 为 2.6-4.5 tok/s。 项目仓库不含模型文件（每个 0.5-4 GB），且需配合其修改版 llama.cpp 使用，原版 llama.cpp 无法加载裁剪后的输出头。上述速度为作者自述，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。