arXiv cs.CL· Xunlei Chen, Qinghui Gong, Ruini Xue, Yaodong Hu, Tian Lan, Wenhong Tian·· 10 小时前AI 评分31
ST²U：通过受限知识边界控制实现有状态测试时遗忘
ST$^2$U: Stateful Test-Time Unlearning via Restricted Knowledge Boundary Control
AI 导读
ST²U 将测试时遗忘建模为轨迹级边界控制，在低维可逆坐标中刻画受限知识边界，并在推理时沿轨迹监测风险、施加最小边界修正，同时跨 token 传播历史修正状态以抑制知识回流。在三个 benchmark 和三个模型家族上，ST²U 取得最佳或次佳的知识保留与遗忘平衡，受限知识回流率为 13.76%–19.84%，显著低于测试时基线的 30.44%–59.10%。
正文 · AI 翻译
摘要：控制大型语言模型中的受限知识对于模型对齐和安全部署至关重要。测试时遗忘通过在推理期间进行干预，避免了昂贵的重新训练和参数更新。然而，现有的激活编辑方法应用孤立的逐点修正，忽视了自回归生成如何从提示、缓存和已生成前缀中不断重建隐藏状态。因此，在局部修正成功后，后续状态可能返回受限知识区域，导致受限知识重新进入。在这项工作中，我们提出了通过受限知识边界控制实现的有状态测试时遗忘（ST$^2$U），它将测试时遗忘表述为轨迹范围的边界控制。ST$^2$U 首先在低维可逆坐标中建模受限知识边界，同时保持正交的非目标组件不变。在推理期间，ST$^2$U 沿轨迹监测风险，应用带有上下文锚定的最小边界修正，并在 token 之间传播历史修正状态以减轻知识重新进入。这种轨迹范围的控制能够实现更持久的遗忘，同时保留非目标能力并限制推理开销。在三个基准和三个模型系列上，ST$^2$U 提供了最强的整体平衡，结合了最佳或次佳的保留能力与有竞争力的遗忘能力，并且与测试时基线相比，受限知识重新进入显著减少（13.76--19.84% 对 30.44--59.10%）。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.23034 [cs.LG] |
| （或 arXiv:2608.23034v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.23034 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xunlei Chen [查看电子邮件]
[v1]
2026年8月24日星期一 09:37:51 UTC（4,324 KB）
[v2]
2026年11月10日星期二 14:32:48 UTC（5,308 KB）
来源：arXiv cs.CL · arxiv.org