arXiv cs.AI· Arnav Kundu, Zhaoyang Xu, Bairu Hou, Chang Gao, Reed Li, Tao Lei·· 10 天前AI 评分30
Apple 提出 Stepped MoE：段级路由实现可配置推理复杂度
Stepped MoE: Segment-Level Routing with Configurable Inference Complexity
AI 导读
Apple 提出 Stepped MoE 框架，将弹性结构与稀疏门控架构结合，让单一模型可在 1、2、3、4 billion 参数间灵活切换。该模型在知识密集型基准上比稠密版本准确率高 2-5%，延迟与稠密模型相当，并通过共享参数节省设备磁盘空间，适配边缘推理的 DRAM 与算力限制。
正文 · AI 翻译
摘要：训练大型语言模型（LLM）需要大量资源，而要让它们适应计算约束各异的多种部署场景仍然颇具挑战。尽管弹性架构可实现灵活的模型部署，稀疏激活模型可支持输入自适应计算，但现有方法将这些维度彼此独立对待。此外，面向设备端边缘推理的模型还需符合服务设备的内存与计算限制。在本文中，我们提出了一个统一框架，将弹性结构与稀疏门控架构相结合，以创建能够同时适应部署约束和任务需求的模型。我们的方法采用一个以上下文和目标效率规格为条件的模型主干，从而在推理时对精度-效率权衡实现细粒度控制。该模型学会在弹性嵌套子网络内激活与任务相关的参数，使单个模型能够覆盖多个容量点，同时保持输入自适应路由。通过实验，我们证明可以创建一个模型，灵活使用 1、2、3、4 亿参数，同时比其稠密对应模型更准确（在知识密集型基准上高 2-5\%），并与其静态版本相当，同时提供与稠密模型相似的延迟指标。总体而言，我们通过共享模型参数节省了设备磁盘空间，允许根据可用 DRAM 和计算资源灵活服务，同时提供更准确的结果。
| 评论： | Apple Foundation Models，15 页，边缘 LLM |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.07348 [cs.LG] |
| （或 arXiv:2610.07348v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07348 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Arnav Kundu [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 20:18:26 UTC（1,899 KB）
来源：arXiv cs.AI · arxiv.org