跳到正文
RadarAI· 公众号:面壁智能(MiniCPM)·· 4 小时前AI 评分60

面壁智能解析 LES 如何让 35B MoE 在手机端侧实时无损运行

面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行

AI 导读

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据。

正文

公众号:面壁智能· MiniCPM-V 团队·2026-10-20 14:22· 1 小时前精选AI 评分68

面壁智能前瞻专家调度(LES):让 35B MoE 在手机上实时无损运行的推理技术

AI 导读

面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。

推荐理由

原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。

来源:公众号:面壁智能 · mp.weixin.qq.com

来源:RadarAI · aihot.news