arXiv cs.CL· Junjie Cao, Fengping Tian, Wenjie Zhou, Xuanfan Ni, Chenyang Lyu, Siyou Liu, Longyue Wang, Weihua Luo·· 11 小时前AI 评分22
PW-Pruning：面向语音中心全模态模型的阶段感知专家选择方法
PW-Pruning: Phase-Aware Expert Selection for Speech-Centric Omni-Modal Models
AI 导读
PW-Pruning 提出一种阶段感知的专家剪枝方法，为声学预填充与教师强制答案 token 分别构建重要性加权核，再结合阶段加权对数行列式边际增益选出单一静态专家库。在 Qwen3-Omni 上每层保留 128 个专家中的 32 个，经监督微调后 MMAU-mini 与 MMSU 准确率较池化选择分别提升 3.20 和 4.38 个百分点（三次运行平均），且推理时无需切换 mask。
正文 · AI 翻译
摘要：稀疏路由减少了每个 token 的计算量，但完整的专家库仍驻留在内存中。我们研究以语音为中心的全模态模型的专家剪枝，其中池化校准统计量可能掩盖声学输入处理和文本答案生成对专家的不同需求。我们提出 PW-Pruning，这是 DO-ACP 的相位感知扩展，它为声学预填充和教师强制答案 token 构建各自的重要性加权核，然后结合相位加权对数行列式边际增益来选择单一静态专家库。在 Qwen3-Omni 上，每层保留 128 个专家中的 32 个，经过监督微调后，在三次运行的平均结果上，MMAU-mini 和 MMSU 准确率分别比匹配的池化选择提高了 3.20 和 4.38 个百分点。在这个公开骨干上的单相位和打乱标签对照实验表明，语义相位信息对这些增益有贡献。在非公开 Qwen3.5-Omni 骨干上的实验以及对 Nemotron 的纯英文零样本评估提供了补充证据。在测试的 Qwen 预算中，AU 增益在更强剪枝下更大，且无需在推理时切换掩码。
| 评论： | 5 页，3 幅图，4 张表 |
| 主题： | 音频与语音处理 (eess.AS)；人工智能 (cs.AI)；计算与语言 (cs.CL)；声音 (cs.SD) |
| 引用为： | arXiv:2610.26891 [eess.AS] |
| （或 arXiv:2610.26891v1 [eess.AS] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26891 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junjie Cao [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 12:36:40 UTC（25 KB）
来源：arXiv cs.CL · arxiv.org