arXiv cs.CL· Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Sch\"utze·· 12 小时前AI 评分31
用输出向量编辑抑制大语言模型记忆复现
Output Vector Editing for Memorization Mitigation in Large Language Models
AI 导读
研究者提出 Output Vector Editing（OVE）后处理方法，通过两阶段定位 MLP 层与神经元并做全词表最小二乘更新，抑制模型从给定前缀复现训练文本。在 634 对 OLMo-7B 数据上，其多锚点变体 OVE-MA 每次请求最多 5 次输出向量更新，可将可恢复比例降至 24.45%，优于 REVS 的 32.02%，更新操作约少 75 倍。该方法无需梯度，推理时也不需额外干预。
正文 · AI 翻译
摘要：大型语言模型能够复现训练文本，从而带来隐私、版权和安全风险。我们提出输出向量编辑（OVE），一种事后方法，用于抑制模型从给定前缀复现的文本续写。在叠加假设下，一个神经元可以贡献于多个特征。然而，一些神经元级缓解方法通过将激活置零来抑制局部神经元，从而移除每个神经元的全部贡献。OVE 则改为编辑它们的输出向量，结合（i）MLP 层与神经元的两阶段定位和（ii）全词表最小二乘更新。其多锚点变体 OVE-MA 自适应地选择预期能相对于所需权重变化提供更强抑制的续写位置。我们在四个模型（360M--7B 参数）上评估恢复率和局部性，使用自回归验证的续写以及贪心解码、束搜索和采样的恢复测试。在 634 个 OLMo-7B 对上，每个请求至多进行五次输出向量更新的 OVE-MA 在这些测试中留下 24.45\% 可恢复，而最接近的先前事后编辑方法 REVS 为 32.02\%，同时更新操作约少 75 倍。这些结果表明，自适应位置选择可以将有效抑制集中到少量权重更新中。OVE 无需梯度即可编辑权重，且推理时无需额外干预。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.18767 [cs.CL] |
| （或 arXiv:2606.18767v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.18767 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ahmad Dawar Hakimi [查看邮箱]
[v1]
2026年6月17日星期三 07:29:18 UTC（1,299 KB）
[v2]
2026年10月21日星期三 13:21:33 UTC（1,031 KB）
来源：arXiv cs.CL · arxiv.org