arXiv·· 12 天前AI 评分22
Stepped MoE:段级路由与可配置推理复杂度
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
AI 导读
论文提出 Stepped MoE 框架,将弹性结构与稀疏门控结合,在段(segment)级别进行路由,使推理复杂度可按部署场景配置。现有方法通常把弹性架构与稀疏激活分开处理,而面向端侧推理的模型还需满足设备的内存与算力限制。该框架试图统一这两个维度,以适配不同计算约束下的部署需求。
来源:arXiv · arxiv.org