伯克利和 MIT 开源推理引擎 FreeToken，可在个人电脑运行千亿参数 MoE 模型

伯克利和 MIT 开发的开源推理引擎 FreeToken 针对 MoE 模型的稀疏激活特性，把 GPU、CPU、内存和 PCIe 带宽整合起来，使消费级硬件运行千亿参数模型成为可能。它采用带宽自适应 CPU-GPU 协同、语义感知缓存和弹性显存管理，并可与现有 Coding Agent 对接。