跳到正文
热点事件持续更新

研究:MoE路由强制专家路径的因果干预

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

一项研究通过在生成时给目标专家的 router logit 加固定偏置,把 token 强制导向指定专家路径,在 Qwen3-30B-A3B 上检验 MoE 路由对模型输出的因果作用。作者称,格式路径能改变模型输出文本,且格式一旦启动会自我强化;概念路径虽使下一 token 概率偏向该概念,却几乎不影响生成文本。 概念干预的效果集中在中间层,其中 religion 和 money 的引导最强。研究由 Mukund Athmaram 等作者发表。

AI 根据报道生成 · 6 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.CL
    MoE 路由究竟控制什么:对专家轨迹的因果干预研究

    研究通过在生成时给目标专家的 router logit 加固定偏置,把 token 强制导向指定专家路径,在 Qwen3-30B-A3B 上验证了格式路径能改变模型输出文本,而概念路径虽使下一 token 概率偏向该概念、却几乎不影响生成文本。格式一旦启动会自我强化,概念干预效果集中在中间层,其中 religion 和 money 的引导最强。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。