研究:MoE路由强制专家路径的因果干预
热点事件持续更新
研究:MoE路由强制专家路径的因果干预
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
一项研究通过在生成时给目标专家的 router logit 加固定偏置,把 token 强制导向指定专家路径,在 Qwen3-30B-A3B 上检验 MoE 路由对模型输出的因果作用。作者称,格式路径能改变模型输出文本,且格式一旦启动会自我强化;概念路径虽使下一 token 概率偏向该概念,却几乎不影响生成文本。 概念干预的效果集中在中间层,其中 religion 和 money 的引导最强。研究由 Mukund Athmaram 等作者发表。
AI 根据报道生成 · 6 分钟前更新
最新进展11月18日 13:00
MoE 路由究竟控制什么:对专家轨迹的因果干预研究报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.CLMoE 路由究竟控制什么:对专家轨迹的因果干预研究
研究通过在生成时给目标专家的 router logit 加固定偏置,把 token 强制导向指定专家路径,在 Qwen3-30B-A3B 上验证了格式路径能改变模型输出文本,而概念路径虽使下一 token 概率偏向该概念、却几乎不影响生成文本。格式一旦启动会自我强化,概念干预效果集中在中间层,其中 religion 和 money 的引导最强。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。