JEPA-Prune：剪枝微调LLM缓解隐私泄露
热点事件持续更新
JEPA-Prune：剪枝微调LLM缓解隐私泄露
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Mohamed Shaaban 与 Mohamed Elmahallawy 提出事后神经元剪枝框架 JEPA-Prune，用仅以无 PII 数据训练的参考模型定位微调 LLM 中响应隐私信息的神经元。据该研究称，仅剪枝 1.6% 的神经元，即可将 PII 推断准确率最多降低 7.4 倍、PII 提取召回率最多降低 13.9 倍，同时多数模型在未见文本上的困惑度与未剪枝模型相差不超过 16%。 作为对比，该研究称隐私神经元编辑会使困惑度至少上升 26 倍。
AI 根据报道生成 · 45 分钟前更新
最新进展10月19日 12:00
JEPA-Prune：通过联合嵌入引导剪枝缓解微调 LLM 的隐私数据泄露报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.CLJEPA-Prune：通过联合嵌入引导剪枝缓解微调 LLM 的隐私数据泄露
JEPA-Prune 是一种事后神经元剪枝框架，借助仅用无 PII 数据训练的参考模型定位微调 LLM 中响应隐私信息的神经元。仅剪枝 1.6% 的神经元，即可将 PII 推断准确率最多降低 7.4 倍、PII 提取召回率最多降低 13.9 倍，同时多数模型在未见文本上的困惑度与未剪枝模型相差不超过 16%。相比之下，隐私神经元编辑会使困惑度至少上升 26 倍。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。