arXiv cs.AI· Xuanming Cui, Shlok Kumar Mishra, Wentao Bao, Aashu Singh, Zihao Wang, Xiangjun Fan, Jun Xiao, Ser-Nam Lim, Jianpeng Cheng·· 9 天前AI 评分31
MoEMB：用高效 MoE 模型扩展通用多模态嵌入
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
AI 导读
MoEMB 通过混合专家（MoE）沿专家轴扩展通用多模态嵌入，在保持单向量、非自回归编码的同时提升编码器容量，仅用 3B 激活参数就在 MMEB-V2 和 MRMR 上超越激活参数超 4 倍的 TTE 类方法，且计算量显著更少。该工作还首次系统研究了 MoE 嵌入的自适应计算，涵盖基于训练与仅推理的多种策略。
正文 · AI 翻译
摘要：通用多模态嵌入（UME）日益要求编码器具备处理更复杂、更广泛任务与模态的能力。此前的扩展方法要么增大表示尺寸、增加检索开销，要么将编码器扩展为庞大的多模态 LLM。近期工作如 Think-Then-Embed（TTE）探索了通过推理 token 进行扩展。然而，嵌入模型难以扩展：增加参数会直接与对比学习所需的大训练批量相权衡，且检索必须在严格的延迟约束下提供服务。此外，UME 任务的复杂度各异，扩展嵌入器会带来大量冗余计算。在本工作中，我们提出 MOEMB，转而通过混合专家（MoE）沿专家轴扩展 UME，在保持单向量、非自回归编码的同时提升编码器容量。通过对基于 MoE 的 UME 的设计空间与训练配方进行系统研究，MoEMB 在基于公开 MMEB 系列数据训练的模型中，于 MMEB-V2 和 MRMR 上均创下新的最优结果：仅用 3B 激活参数，MoEMB 便超越了激活参数超过 4 倍的基于 TTE 的方法，且计算量显著更少。为进一步提升可扩展性与效率，我们首次对基于 MoE 的嵌入的自适应计算进行了全面研究，涵盖基于训练与仅推理的多种策略。综上，这些结果支持专家扩展作为 UME 一条有效且高效的方向，而自适应计算进一步提升了基于 MLLM 的嵌入模型面向大规模检索与推荐系统的效率。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用格式： | arXiv:2609.08663 [cs.LG] |
| （或本版本使用 arXiv:2609.08663v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.08663 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xuanming Cui [查看邮箱]
[v1]
2026年9月8日星期二 12:29:50 UTC（3,431 KB）
[v2]
2026年10月7日星期三 18:58:19 UTC（3,443 KB）
来源：arXiv cs.AI · arxiv.org