arXiv cs.CL· Mohamed Shaaban, Mohamed Elmahallawy·· 11 小时前AI 评分34
JEPA-Prune：通过联合嵌入引导剪枝缓解微调 LLM 的隐私数据泄露
Prune the Leaky Neurons: Mitigating Private Data Leakage in Fine-Tuned LLMs via Joint-Embedding-Guided Pruning
AI 导读
JEPA-Prune 是一种事后神经元剪枝框架，借助仅用无 PII 数据训练的参考模型定位微调 LLM 中响应隐私信息的神经元。仅剪枝 1.6% 的神经元，即可将 PII 推断准确率最多降低 7.4 倍、PII 提取召回率最多降低 13.9 倍，同时多数模型在未见文本上的困惑度与未剪枝模型相差不超过 16%。相比之下，隐私神经元编辑会使困惑度至少上升 26 倍。
正文 · AI 翻译
摘要：在专有记录上微调大型语言模型（LLM）可实现领域适配，但会带来两个挑战：(i) 被记忆的私有数据（如个人可识别信息 PII）存在隐私泄露风险；(ii) 需要在移除私有数据与保持效用之间取得平衡。现有防御手段（包括数据清洗和差分隐私）往往会降低性能，而隐私神经元编辑缺乏无 PII 的参照，难以区分身份特异性神经元与支撑有用文本的神经元。我们提出 JEPA-Prune，一种事后神经元剪枝框架，由仅在无 PII 视图上训练的模型引导。除微调后的私有模型外，JEPA-Prune 还使用联合嵌入预测架构（JEPA），在同一记录的替代视图和掩码视图上训练一个公共模型，从而在不含标识符的情况下捕获领域知识。跨模型表示探针量化泄露记录的私有表示与该无 PII 参照之间的偏差。随后，积分梯度和尺度不变的特异性得分用于识别 PII 响应神经元，并在无需重新训练的情况下进行剪枝。实验表明，仅剪枝 1.6% 的神经元即可将 PII 推断准确率最多降低 7.4 倍，将 PII 提取召回率最多降低 13.9 倍，同时对大多数 LLM 而言，未见文本的困惑度保持在未剪枝模型的 16% 以内。相比之下，隐私神经元编辑会使困惑度至少增加 26 倍。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.22792 [cs.CL] |
| （或 arXiv:2610.22792v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.22792 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
发件人：Mohamed Elmahallawy [查看电子邮件]
[v1]
2026年10月16日星期五 01:09:22 UTC（91 KB）
来源：arXiv cs.CL · arxiv.org