输出向量编辑抑制大模型记忆复现

研究者提出一种名为输出向量编辑（OVE）的后处理方法，用于抑制大语言模型从给定前缀复现训练文本。该方法先定位 MLP 层与神经元，再对全词表做最小二乘更新，无需梯度，推理时也不需额外干预。 在 634 对 OLMo-7B 数据上，其多锚点变体 OVE-MA 每次请求最多进行 5 次输出向量更新，可将可恢复比例降至 24.45%，低于 REVS 的 32.02%，且更新操作约少 75 倍。上述结果来自作者在论文中的报告。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。