arXiv·· 12 天前AI 评分50
Cascadia 在十一台 AI PC 上实现 975B MoE 常驻推理
Cascadia: Resident 975B MoE Inference on Eleven AI PCs
AI 导读
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上实现 975B 总参数、41B 激活参数的 MoE 模型 Inkling 常驻推理，每台机器配备 64 GB 内存、Arc B390 集成显卡和千兆以太网。其自研常驻 MoE 引擎保留 Inkling 的路由规则，为 OpenVINO 融合 iGPU 原语构建压缩图，并协调 FP16 专家执行。
来源：arXiv · arxiv.org