arXiv cs.CL· Zhiyuan Wang·· 11 小时前AI 评分31
研究揭示 MoE 模型预填充阶段减少专家对短答案 F1 的损害机制
Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss
AI 导读
在四种 MoE 模型家族上，预填充阶段将路由专家减半导致的短答案 F1 损失主要体现为答案形式受损——模型仍能找到答案但不再简短作答。Qwen3-30B-A3B 的损失集中在答案前的两个 chat-template token，DeepSeek-V2-Lite 则集中在开头 8-32 个 prompt token 的指令位置。
正文 · AI 翻译
摘要：在预填充阶段让提示词元经过更少的路由专家，是降低混合专家（MoE）服务成本的一种简单方法，但目前尚不清楚这会损害什么。我们通过在四个 MoE 系列上对短答案问答进行词元、层和注意力路径干预，定位了这种损害。在专家数量减半时，三个系列的 F1 损失主要来自答案形式：模型仍然能找到答案，但会停止简短作答。在 Qwen3-30B-A3B 中，这一损失发生在答案之前的两个聊天模板词元上；在 DeepSeek-V2-Lite 中，则发生在其指令所在的提示词前 8-32 个词元上；按答案似然计算，这些位置分别约占损害的一半和五分之一。减少专家会改变第一个词元的注意力质量、范数和最大激活值，幅度小于 4%；而恢复超级专家或大规模激活最多只能挽回约四分之一的损失，远低于让敏感位置保持全专家。在约 4% 词元使用全专家的真实提示词上，将这些词元放在任务接口处可使 F1 与未修改模型相差不超过一个点，而随机放在文档中则差约 3 个点（五项预设主要比较中的两项；其余未定或未运行）。由于答案边界总是结束单轮提示词，且 DeepSeek 的损失在其指令移离起始位置后不再可检测，因此在我们发现的所有敏感布局中，敏感词元都位于提示词两端，所以保留两端的规则与读取应用标记的规则无法区分。在 11K 词元的提示词上，首词元时间下降约 14%，而在 2K 词元时没有下降。
| 评论： | 正文 8 页，含附录共 26 页；补充材料见附属文件 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22454 [cs.CL] |
| （或 arXiv:2610.22454v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22454 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhiyuan Wang [查看邮箱]
[v1]
2026年10月15日星期四 16:26:07 UTC（509 KB）
来源：arXiv cs.CL · arxiv.org