Edge0-AI 开源 edge0-infer 推理引擎，2.5GB 内存本地运行 35B MoE 模型

Edge0-AI 开源 edge0-infer 推理引擎，通过预训练路由模块和硬盘预读策略，在 16GB Mac、iPhone 和 Windows 设备上以仅 2.5GB 内存运行 35B MoE 模型。该引擎将模型存储在硬盘，并利用预训练路由模块预测下一时刻激活的专家，推理速度达每秒 11-25 token。