arXiv cs.CL· Donggeun Kim·· 11 小时前AI 评分38
MAEP：面向 MoE 多模态大模型的模态感知专家剪枝
Modality-Aware Expert Pruning for MoE-Based Multimodal Large Language Models
AI 导读
研究者提出免训练框架 MAEP，按模态分解专家重要性来剪枝 MoE 多模态大模型，在多数多模态基准上优于模态无关基线，文本任务保持竞争力。该方法用 Delta-H Output 衡量专家移除后的 MoE 输出变化，并以低注意力视觉 token 作为数据集稳定的视觉侧剪枝信号。
正文 · AI 翻译
摘要：混合专家（MoE）使多模态大语言模型（MLLMs）能够高效扩展容量，但专家参数在内存中占主导地位，尽管每个 token 仅激活少量专家：在现代 MoE-MLLMs 中，它们占模型规模的 90% 以上（例如，InternVL3.5-30B-A3B 和 Qwen3-VL-30B-A3B 在 BF16 下约 58 GB 中的 54 GB）。专家剪枝已成为一种有效的压缩策略，但现有方法在所有 token 上统一聚合重要性，忽略了同一专家在视觉与语言处理中可能扮演不同角色。为解决这一问题，我们提出 MAEP（模态感知专家剪枝），这是一个无需训练的框架，在单次前向传播中按模态分解专家重要性。MAEP 引入了（1）Delta-H 输出（$\Delta H$），一种感知重分配的度量，用于衡量移除专家时 MoE 输出的变化；（2）低注意力视觉 token 作为视觉侧剪枝信号，该信号具有数据集稳定性：其专家重要性排名在不同数据集间保持稳定。文本侧重要性作为保留信号，视觉侧重要性作为剪枝信号，专家在各层间进行全局排名。在三个基于 MoE 的 MLLMs 上跨多模态和文本基准的实验表明，MAEP 在大多数多模态基准上优于模态无关的基线，同时在纯文本任务上保持竞争力，将 BF16 专家权重占用减少约 27 GB（约占总内存的 47%），使得约 58 GB 模型的全部权重占用可容纳于单块 40 GB GPU 内。代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05927 [cs.CV] |
| （或 arXiv:2611.05927v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05927 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Donggeun Kim [查看邮箱]
[v1]
2026年11月4日星期三 04:16:48 UTC（1,170 KB）
来源：arXiv cs.CL · arxiv.org