Prism ML 用 1.5 bit 量化将 Qwen 27B 内存占用从 60GB 压缩至 6GB

Prism ML 的一个团队把阿里巴巴 Qwen 27B 的数值存储从 16 bit 改为 1.5 bit，将内存占用从通常约 60GB 压缩到 6GB，同时保留 95% 的性能。压缩后该模型可在树莓派上运行。Emad Mostaque 称 AI 模型几乎已经达到人脑的效率，并称 6GB 下其能耗与人脑相当。完整视频在 Tom Bilyeu 的 YouTube 频道。