arXiv cs.AI· Niccol\`o Ronchetti·· 11 小时前AI 评分42
面向大语言模型两用概念的正交边界遗忘（OBU）
Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models
AI 导读
研究者提出正交边界遗忘框架 OBU，通过奇异值分解从配对校准查询中提取领域匹配的能力子空间，并将参数更新严格限制在其正交零空间，从而在移除网络战利用、病原体增强等两用危险能力时不损伤良性科学能力。
正文 · AI 翻译
摘要：缓解大语言模型带来的灾难性风险，需要切除危险的操作能力，例如网络战利用和病原体增强，同时不降低良性科学效用。在这些两用领域中，合法的防御性科学与恶意攻击共享词汇、语法和内部模型表征，导致标准遗忘方法引发严重的附带损害（概念渗漏）。
在本工作中，我们提出正交边界遗忘（OBU），一个具有数学基础的框架，旨在消除对良性两用能力的附带损害。OBU 通过对经验激活协方差进行奇异值分解，从成对校准查询中提取领域匹配的能力子空间，并将参数更新严格限制在正交零空间内。这保证了良性表征在张成的校准子空间上经历零参数扰动。
我们提出 OBU 的两种互补实现：投影 LoRA，在基于梯度的迭代微调过程中施加正交约束；闭式权重手术，无需训练，在单个解析步骤中直接编辑模型权重。在四个现代开放权重基础模型（Gemma-3-4B、Qwen3.5-4B、SmolLM3-3B 和 Granite-4.2-3B）上，OBU 实现了强大的两用概念分离，大幅缓解上下文启动攻击，并展现出对对抗性再学习的持久抵抗力，同时不降低良性领域能力。
| 评论： | 19 页（含参考文献和附录），2 幅图，3 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27490 [cs.LG] |
| （或 arXiv:2610.27490v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27490 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Niccolò Ronchetti [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 02:09:21 UTC（30 KB）
来源：arXiv cs.AI · arxiv.org