arXiv cs.CL· Junhyeok Lee, Han Jang, Kyu Sung Choi·· 9 天前AI 评分22
MoE 语言模型中的路由重加权难以有效控制刻板印象
Limited Stereotype Control Through Routing Reweighting in MoE Language Models
AI 导读
研究提出诊断框架 FARE，结合人口统计路由画像、经验层选择与固定推理时重加权，在五种 MoE 架构上测试路由级刻板印象控制。在选定操作点上，CrowS-Pairs 偏好变化最多 1.3 个百分点，DeepSeekMoE 未选择任何干预，唯一名义显著变化（Qwen1.5，p = 0.015）未通过多重比较校正。
正文 · AI 翻译
摘要：在混合专家（MoE）语言模型中，人口统计学提示与中性提示的路由方式不同，这促使我们测试路由层面的刻板印象控制。我们提出了公平感知路由均衡（FARE），这是一个结合人口统计学路由画像、经验层选择和固定推理时重加权的诊断框架，并在英语环境下评估了五种 MoE 架构。在选定的操作点上，CrowS-Pairs 偏好变化至多为 1.3 个百分点；DeepSeekMoE 未选择任何干预。配对 95% 置信区间排除了每个被干预模型上大于 2.2 个百分点的下降，而唯一名义上显著的变化（Qwen1.5，p = 0.015）未能通过多重比较校正。尽管如此，OLMoE 和 Qwen3 几乎改变了每一个 top-k 专家集合。噪声控制、随机和截断的合成画像以及硬掩码对偏好的影响也至多为 1.5 个百分点。在 OLMoE、Mixtral、Qwen1.5 和 Qwen3 上的四种生成协议显示，所测量的毒性、词汇或参考重叠指标均无一致变化。选择项与评估项存在重叠，因此这些比较并非独立评估。所测试的重加权程序提供的刻板印象控制有限。
| 评论： | 15 页，4 幅图，12 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.27141 [cs.CL] |
| （或 arXiv:2603.27141v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.27141 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Junhyeok Lee [查看电子邮件]
[v1]
2026 年 3 月 28 日星期六 05:33:42 UTC（493 KB）
[v2]
2026 年 10 月 8 日星期四 07:58:19 UTC（213 KB）
来源：arXiv cs.CL · arxiv.org