arXiv cs.AI· Dohyeon Kim, Bedionita Soro, Bruno Andreis, Sung Ju Hwang·· 3 天前AI 评分22
SLEM：频谱感知的潜空间专家合并框架
SLEM: Spectrum-Aware Latent Expert Merging
AI 导读
研究者提出 Spectrum-Aware Latent Expert Merging（SLEM），一种无需校准数据的专家合并框架，在 VAE 构建的专家权重结构化潜表示中完成合并。
正文 · AI 翻译
摘要：混合专家（MoE）模型通过为每个输入仅激活一小部分专家来高效扩展模型容量，但仍需将所有参数存储在内存中，导致大量内存开销。专家合并技术近来作为一种有前景的压缩范式出现，通过将多个专家整合为更小的集合来降低这种开销。然而，现有方法有两个关键局限：（i）参数空间中的直接凸插值通常无法保证对专家函数产生有意义的插值；（ii）估计专家相似度或合并系数往往依赖校准数据，从而引入对校准分布的依赖。为解决这些局限，我们提出频谱感知潜在专家合并（SLEM），一种无需校准的专家合并框架，在使用 VAE 的专家权重结构化潜在表示中进行。SLEM 基于潜在相似度在层内和跨层对专家进行分组，并从专家权重频谱中推导合并系数。随后执行几何感知的潜在插值，并将所得表示解码为合并后的专家权重。与现有专家合并方法相比，SLEM 在通用知识基准上取得相当或更好的性能，在涉及数学推理和代码生成的生成基准上取得更高的平均性能。
| 评论： | 21 页，8 幅图，7 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16484 [cs.LG] |
| （或使用 arXiv:2610.16484v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.16484 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Dohyeon Kim [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 09:38:24 UTC（1,931 KB）
来源：arXiv cs.AI · arxiv.org