伯克利和MIT开源FreeToken推理引擎
热点事件持续更新
伯克利和MIT开源FreeToken推理引擎
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
伯克利和 MIT 开发并开源了推理引擎 FreeToken，针对 MoE 模型的稀疏激活特性，把 GPU、CPU、内存和 PCIe 带宽整合起来，使消费级硬件运行千亿参数模型成为可能。 该引擎采用带宽自适应 CPU-GPU 协同、语义感知缓存和弹性显存管理，并可与现有 Coding Agent 对接。报道未给出实测性能数据或具体硬件配置要求。
AI 根据报道生成 · 52 分钟前更新
最新进展11月15日 10:44
伯克利和 MIT 开源推理引擎 FreeToken，可在个人电脑运行千亿参数 MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- RadarAI伯克利和 MIT 开源推理引擎 FreeToken，可在个人电脑运行千亿参数 MoE 模型
伯克利和 MIT 开发的开源推理引擎 FreeToken 针对 MoE 模型的稀疏激活特性，把 GPU、CPU、内存和 PCIe 带宽整合起来，使消费级硬件运行千亿参数模型成为可能。它采用带宽自适应 CPU-GPU 协同、语义感知缓存和弹性显存管理，并可与现有 Coding Agent 对接。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。