SafeStart：缓解 MoE LLM 推理中主动专家削减被忽视的安全代价

查看 PDF HTML（实验性）

摘要：混合专家（MoE）语言模型将每个 token 送入众多专家子网络中的少数几个。服务方法通过为每个 token 运行更少的专家来加速这些模型，并在准确率基准上得到验证。我们表明，这些方法会削弱模型对有害请求的拒绝能力，并提出了 SafeStart，它在保留大部分加速的同时基本恢复了拒绝能力。在单块 RTX A6000 上的 vLLM 中，保留约三分之二的已选专家，在批大小为 8 时可将离线解码加速 15% 至 28%。我们发现，在此设置下，在告知模型不要拒绝的越狱攻击下，模型回答有害请求的比例在 Qwen1.5-MoE 上上升 18.4 个百分点，在 OLMoE 上上升 9.5 个百分点，在 DeepSeek-V2-Lite 上上升 6.6 个百分点，这是九个模型中显著上升的三个，而 MMLU 准确率下降不到两个点。我们发现，这一上升大部分发生在模型处理提示并生成最初几个 token 时。因此，SafeStart 通过 vLLM 中的融合内核，对提示和生成的前八个 token 运行所有专家，之后运行缩减后的专家集。在移除专家的情况下，SafeStart 在批大小为 8 和 32 时保留了至少 85% 的离线解码加速，并将这三种模型上三种专家缩减方法在此越狱下的变化控制在 -2.1 至 +1.3 个百分点之间。在 889 个留出请求上，在生成前固定的分析中，截断使有害顺从率上升 5.8 至 21.4 个百分点，而 SafeStart 留下的上升为 0.6 至 2.6 个百分点，在三个模型中的两个上不劣于原始模型。我们的结果表明，更快的 MoE 服务不必牺牲安全性：服务系统可以通过在每个响应开始时运行所有专家来保留运行更少专家的大部分收益，并且在启用此类方法之前应测试拒绝能力，而不仅仅是准确率。

提交历史

来自：Erfan Baghaei Potraghloo [查看电子邮件]
[v1] 2026 年 11 月 4 日星期三 08:31:01 UTC（1,719 KB）