arXiv cs.AI· Fei Wang, Baochun Li, Bo Li·· 1 天前AI 评分31
微调 MoE 大语言模型中的可恢复专家利用特征研究
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
AI 导读
研究发现微调后的 MoE 大语言模型存在"结构性记忆"漏洞：模型不仅记住训练数据，还记住处理数据所用的内部路由路径，形成独特的路由指纹，且仅需少量样本即可出现。攻击者无需了解微调数据或流程，仅凭路由与输出 logits 就能通过模型无条件生成隐秘恢复这些专家路径。传统成员推理指标无法识别此类记忆数据，作者提出结合参考模型尾部似然与复杂度感知归一化的复合指标以提升检测能力。
正文 · AI 翻译
摘要：随着混合专家（MoE）大语言模型越来越多地部署在分布式环境中，从联邦学习到边缘-云系统，其架构中潜藏着一片尚未被充分探索的安全漏洞领域。我们超越文本分析，揭示了结构性记忆：一种新型漏洞，即微调后的模型不仅记忆其训练数据，还记忆用于处理这些数据的内部路径，从而形成训练过程特有的路由指纹。我们提供了全面的实证证据，表明结构性记忆即使仅凭少量样本也会一致出现，且其强度直接受可训练模块选择的影响。
我们表明，这些被记忆的专家路径可以通过模型的无条件生成被隐蔽地恢复，仅使用路由和输出 logits，无需了解微调数据或过程。在分布式部署中，这一漏洞被放大，因为路由信息在多个信任边界处暴露，包括联邦聚合点、边缘-云接口和多租户监控系统。恢复过程揭示了一个关键盲点：从专家路由视角来看，传统的成员推理指标无法识别与这些结构路径相对应的记忆数据。为弥补这一差距，我们设计了结合参考模型尾部似然与复杂度感知归一化的复合指标，显著提升了对记忆路由结构的检测能力。这使得攻击者能够精确定位由微调塑造的关键专家，无论其是主导的还是休眠的，并在现实分布式环境中执行路由器操纵或后门注入等定向攻击，在这些环境中攻击者缺乏训练数据但可以观察跨系统组件的路由模式。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.41039 [cs.LG] |
| （或 arXiv:2610.41039v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41039 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Fei Wang [查看电子邮件]
[v1]
2026年10月29日星期四 22:30:02 UTC（773 KB）
来源：arXiv cs.AI · arxiv.org