剪枝注意力头抑制GPT-2-XL逐字记忆

Aryan Chowdhury 与 Riza Batista-Navarro 发表研究称，在推理前将大量注意力头置零可显著抑制大语言模型的逐字记忆。研究在 GPT-2-XL（1.5B）上剪枝 729 个任务冗余注意力头，记忆计数下降 91.5%，同时 WikiText-103 困惑度改善 0.92。 该方法无需重新训练或修改训练数据，即可在推理阶段缓解记忆带来的隐私与版权风险。上述效果为研究者在 GPT-2-XL 及用于识别冗余头的基准上的报告结果。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。