Nullify：面向 LLM 免训练遗忘的零空间激活引导方法

Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

AI 导读

研究者提出 Nullify，一种免训练、非破坏性的激活引导方法，用于 LLM 遗忘：在推理时用引导向量把隐私相关激活重定向，远离模型记忆的答案，同时满足零空间约束，使保留查询的激活基本不受影响。在 TOFU 和 MUSE 上，Nullify 的遗忘质量达到或超过现有基线，并近乎无损地保持模型效用。由于完全无需更新权重，它可作为即插即用的推理时干预框架。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在预训练过程中不可避免地会内化大量敏感或私密信息，而 LLM 遗忘旨在选择性地抹除特定知识，以在最小化模型效用损失的前提下防止隐私泄露。然而，现有方法难以在遗忘质量与效用之间取得平衡，并且通常由于参数微调而产生大量计算开销。为解决这一问题，我们提出 Nullify，一种免训练、非破坏性的激活引导式 LLM 遗忘方法。Nullify 在推理时使用引导向量，将隐私相关的激活重定向至远离其记忆的答案，同时满足零空间约束，使保留查询的激活基本不受影响，从而维持效用。在 TOFU 和 MUSE 上的评估表明，Nullify 在遗忘质量上达到或超越现有基线，同时实现对模型效用的近乎无损保持。通过完全避免权重更新，Nullify 可作为一种高效、即插即用的推理时干预框架。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR）
引用为：	arXiv:2610.10655 [cs.LG]
	（或 arXiv:2610.10655v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.10655 arXiv 颁发的 DOI，经由 DataCite（待注册）

提交历史

来自：Wei Zhai [查看电子邮件]
[v1] 2026年10月7日星期三 16:24:07 UTC（80 KB）

来源：arXiv cs.AI · arxiv.org