跳到正文
热点事件持续更新

MoE模型拒绝引导机制可分解至单个专家

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Anna C. Marbut等作者将拒绝引导方法扩展到三个开源MoE大模型,发现引导效果不受MoE复杂路由模式影响:单个专家在可自选位置时平均可复现78%的完整引导效果。 但若把专家限制在全层引导所用的位置,复现率降至平均54%,在安全相关系统提示下差距进一步扩大。研究还发现,拒绝信号与专家路由行为捕获的信号并不相同,表明拒绝行为在MoE架构中分布不均,而非由单一统一机制控制。

AI 根据报道生成 · 56 分钟前更新

最新进展10月21日 12:00
在 MoE 模型中分解拒绝引导机制

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.CL
    在 MoE 模型中分解拒绝引导机制

    研究将拒绝引导(refusal steering)方法扩展到三个开源 MoE 大模型,发现引导效果不受 MoE 复杂路由模式影响,单个专家在可自选位置时平均可复现 78% 的完整引导效果。但若将专家限制在全层引导所用的位置,复现率降至平均 54%,在安全相关系统提示下差距进一步扩大。拒绝信号与专家路由行为所捕获的信号并不相同,表明拒绝行为在 MoE 架构中分布不均,而非由单一统一机制控制。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。