arXiv cs.AI· Zihan Fang, Qianru Wang, Haonan An, Zheng Lin, Yiqin Deng, Symeon Chatzinotas, Yuguang Fang·· 10 天前AI 评分22
FedAlign-MoE：数据异构下移动边缘网络的联邦 MoE 对齐
Federated Mixture-of-Experts Alignment on Mobile Edge Networks under Data Heterogeneity
AI 导读
针对数据异构下联邦微调 MoE 大模型时出现的门控偏好分歧与同索引专家语义模糊问题，研究者提出联邦聚合对齐框架 FedAlign-MoE，通过一致性加权对齐路由分布、分布正则优化本地门控网络，并量化同索引专家的语义一致性以选择性聚合。实验显示其在非 IID 联邦环境中收敛更快、精度更高，且计算轻量、通信高效。
正文 · AI 翻译
摘要：移动边缘设备上对端侧大语言模型（LLM）服务日益增长的需求，推动了混合专家（MoE）架构的采用，该架构能在有限计算量下扩展模型容量。由于基于 MoE 的 LLM 微调依赖隐私敏感的本地数据，联邦学习（FL）为无需暴露原始数据的协作训练提供了一种自然的范式。然而，将基于 MoE 的 LLM 微调集成到 FL 中面临由客户端间数据异构性引起的两个关键挑战：(i) 各异的本地数据分布驱使客户端形成不同的门控偏好，因此直接进行参数聚合会得到一个“一刀切”却对谁都不适用的全局门控网络；(ii) 相同索引的专家在不同设备上形成不同的语义角色，导致专家语义模糊和专业化能力下降。为应对这些挑战，我们提出了 FedAlign-MoE，一种面向边缘计算系统的联邦聚合对齐框架，它同时强制实现路由一致性和专家语义对齐。具体而言，FedAlign-MoE 通过一致性加权对齐路由分布来聚合门控行为，并通过分布正则化优化本地门控网络，在保持跨客户端稳定性的同时保留具有判别性的本地门控偏好。同时，FedAlign-MoE 量化相同索引专家在不同设备间的语义一致性，并有选择地聚合语义对齐的专家，从而确保全局专家稳定且专业化。大量实验表明，FedAlign-MoE 优于最先进的基准方法，在非独立同分布（non-IID）联邦环境中以轻量计算和高效通信实现了更快的收敛速度和更高的准确率。
| 评论： | 15 页，17 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.21276 [cs.LG] |
| （或 arXiv:2603.21276v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.21276 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lin Zheng [查看邮箱]
[v1]
2026 年 3 月 22 日星期日 15:07:39 UTC（13,187 KB）
[v2]
2026 年 10 月 6 日星期二 15:09:51 UTC（1,560 KB）
来源：arXiv cs.AI · arxiv.org