研究揭示微调MoE模型路由指纹漏洞

Fei Wang、Baochun Li、Bo Li 发表的论文称，微调后的 MoE 大语言模型存在“结构性记忆”漏洞：模型不仅记住训练数据，还记住处理数据所用的内部路由路径，形成训练过程特有的路由指纹，且仅需少量样本即可出现。 论文称，攻击者无需了解微调数据或流程，仅凭路由与输出 logits 就能让模型无条件生成并隐秘恢复这些专家路径。作者指出，传统成员推理指标无法识别此类记忆数据，并提出结合参考模型尾部似然与复杂度感知归一化的复合指标，以提升检测能力。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。