跳到正文
arXiv cs.CL· Mukund Athmaram, Manoj Rao, Liang Ma·· 9 小时前AI 评分31

MoE 路由究竟控制什么:对专家轨迹的因果干预研究

What MoE Routing Controls: Causal Interventions on Expert Trajectories

AI 导读

研究通过在生成时给目标专家的 router logit 加固定偏置,把 token 强制导向指定专家路径,在 Qwen3-30B-A3B 上验证了格式路径能改变模型输出文本,而概念路径虽使下一 token 概率偏向该概念、却几乎不影响生成文本。格式一旦启动会自我强化,概念干预效果集中在中间层,其中 religion 和 money 的引导最强。

正文 · AI 翻译

查看 PDF

摘要:在混合专家(MoE)语言模型中,一个 token 会跨层被路由到一系列专家。我们研究了强制 token 走选定的专家路径会如何影响模型行为。我们根据某个概念或角色的 token 最常使用的专家构建一条目标路径,并在生成过程中为每个目标专家的路由器 logit 添加固定偏置,以将 token 引导至该专家路径。我们研究了两种目标。格式目标关注输出的形式,概念目标关注其主题。在 Qwen3-30B-A3B 中,我们表明引导格式路径会改变模型写出的文本。我们还表明,引导概念路径会使模型的下一个 token 概率向该概念偏移,即使该路径是用另一种语言构建的,但这种偏移对生成的文本几乎没有影响。我们通过仅引导生成过程的一部分,研究了为什么格式能影响文本而概念不能,并发现证据表明,格式一旦开始就会自我强化。我们表明,宗教和金钱这两个概念的引导效果最强,且该效应集中在中间层。我们尝试通过分析嵌入独特性和词频来解释为什么该效应的强度因概念而异。
主题: 计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.22120 [cs.CL]
  (或 arXiv:2611.22120v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22120

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Mukund Athmaram [查看电子邮件]
[v1] 2026年11月17日星期二 03:02:41 UTC(549 KB)

来源:arXiv cs.CL · arxiv.org