arXiv cs.CL· Lucas Bandarkar, Alan Ansell, Trevor Cohn·· 10 小时前AI 评分34
利用跨语言不一致性定位 MoE 大语言模型中的知识
Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency
AI 导读
研究者提出用跨语言不一致性作为 MoE 大语言模型的可解释性工具，通过对比模型在不同语言下答对与答错时的路由差异来定位知识。该方法先跨多语言提问生成"成功"与"失败"激活桶，再对 MoE 路由器 logits 做统计对比分析，找出对特定知识关键的专家。实验显示，仅停用约 6000 个专家中的 20 个，模型在超过 40% 的情况下就无法正确作答。
正文 · AI 翻译
摘要：现代大语言模型在不同语言间的行为仍存在显著差异，例如能够用某些语言回忆起事实信息，却无法用另一些语言做到。以往通常将这一问题视为需要缓解的对象，而在本工作中，我们提出利用这种跨语言不一致性，作为混合专家（MoE）大语言模型可解释性分析的工具。我们的知识定位框架对比模型在能够正确回忆信息的语言集合与失败的语言集合上的路由情况，从而分离出在回答某项知识时发挥功能性作用的模型组件。我们的方法分为两个阶段：（1）用一组多样化的语言向模型提出困难的事实性问题，生成“成功”和“失败”的激活桶；（2）对 MoE 路由器 logits 进行统计对比分析，以识别对知识重要的专家。为验证这少量专家对于回答知识问题的必要性，我们停用这些专家并重新提问。我们发现，尽管仅停用了 6000 个专家中的约 20 个，模型在超过 40% 的情况下已无法正确回答。总体而言，该方法提供了一种现实且可扩展的知识定位途径，以应对日益复杂的大语言模型。
| 评论： | NeurIPS 2026，this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.17102 [cs.CL] |
| （或 arXiv:2603.17102v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.17102 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lucas Bandarkar [查看邮箱]
[v1]
2026年3月17日星期二 19:48:44 UTC（1,216 KB）
[v2]
2026年11月6日星期五 16:33:23 UTC（351 KB）
来源：arXiv cs.CL · arxiv.org