Edge0-AI 开源低内存推理引擎 edge0-infer
热点事件持续更新
Edge0-AI 开源低内存推理引擎 edge0-infer
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Edge0-AI 开源了推理引擎 edge0-infer，目标是降低在本地运行大规模 MoE 模型时的内存占用。据该团队介绍，该引擎把模型存放在硬盘上，并借助预训练路由模块预测下一时刻激活的专家，从而在 16GB 内存的 Mac、iPhone 和 Windows 设备上以约 2.5GB 内存运行 35B MoE 模型，推理速度为每秒 11–25 token。 上述内存占用和运行效果均为 Edge0-AI 的说法，报道未提供独立验证结果。
AI 根据报道生成 · 57 分钟前更新
最新进展11月12日 10:17
Edge0-AI 开源 edge0-infer 推理引擎，2.5GB 内存本地运行 35B MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- RadarAIEdge0-AI 开源 edge0-infer 推理引擎，2.5GB 内存本地运行 35B MoE 模型
Edge0-AI 开源 edge0-infer 推理引擎，通过预训练路由模块和硬盘预读策略，在 16GB Mac、iPhone 和 Windows 设备上以仅 2.5GB 内存运行 35B MoE 模型。该引擎将模型存储在硬盘，并利用预训练路由模块预测下一时刻激活的专家，推理速度达每秒 11-25 token。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。