arXiv cs.AI· Tate Berenbaum (Not Community Labs Inc.), Matias Parij (Not Community Labs Inc.), Muthaiah Venkatachalam (Intel Corporation)·· 10 天前AI 评分33
Cascadia 在十一台 AI PC 上实现 975B MoE 模型常驻推理
Cascadia: Resident 975B MoE Inference on Eleven AI PCs
AI 导读
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻运行 975B 总参数/41B 激活参数的 Inkling MoE 模型，每台配 64 GB 内存、Arc B390 核显与千兆以太网。
正文 · AI 翻译
摘要：混合专家模型通过稀疏的逐 token 计算，使近万亿参数规模的容量变得可用，前提是服务系统能够分发权重并协调其执行。我们展示了 Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻执行 Inkling（总参数 975B／激活参数 41B）的情况，每台机器配备 64 GB 内存、Arc B390 集成显卡和千兆以太网。我们贡献了一个自定义的常驻 MoE 引擎，它保留了 Inkling 的路由规则，为 OpenVINO 的融合 iGPU 原语构建压缩图，并协调 FP16 专家计算与 FP32 输出还原。该引擎每台机器容纳六个连续的解码器层，并将稠密前馈块表示为全激活专家切片，将实测稠密层调用时间从约 8.1 ms 降至 4.5 ms。流式流水线协调并发生成，而捕获状态草稿评估则衡量与部署数值路径的一致性。在从 1 到 176 路流的十五个并发级别上进行配对测量，在 88 路流时达到 60.29 聚合解码 token/s，在整个服务阶段为 46.87 token/s。在十五路流时，首 token 延迟中位数为 6.05 s。将上下文预算从默认的 1,024 位置提高后，1k 至 64k token 的真实提示在全部 19 个测量答案中都恢复了嵌入代码，首 token 时间按 $aN+bN^2$ 增长，解码延迟近似线性增长，两者都受限于单线程 CPU 注意力循环而非内存，内存每路流可容纳 512k 位置。对捕获的集群状态进行评估，区分了词汇表选择和权重量化对草稿一致性的影响。总之，这些贡献为在具有共享 CPU-GPU 内存的分布式客户端系统上执行和评估大型稀疏模型建立了一种方法。
| 学科： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.07219 [cs.AI] |
| （或 arXiv:2610.07219v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07219 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
发件人：Tate Berenbaum [查看电子邮件]
[v1]
2026年10月5日星期一 18:29:24 UTC（89 KB）
来源：arXiv cs.AI · arxiv.org