Edge0 开源 145B 与 120B 端侧模型及推理框架

Edge0 开源了 Edge0-145B 和 Edge0-120B 两个端侧模型，同时放出统一推理框架与部署工具。官方称，Edge0-145B 是 145B 参数的开源端侧模型，在兼容笔记本上峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s，支持 128K–256K 上下文。 官方称，其核心模型能力可离线运行，无需账号、无使用额度；本地推理不产生云端模型的 token 或 API 费用，数据可留在本机。Edge0-145B 首日支持 macOS、Windows、Linux，覆盖 Apple M 系列芯片及 RTX Spark、RTX 4090、RTX 5090 等 NVIDIA 平台。 官方同时说明，算力很低的设备目前无法在本地运行 145B 模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。