arXiv cs.CL· Seunghyun Lee, Dongyoon Han, Sangdoo Yun·· 14 小时前AI 评分49
Token Inoculation：用标记而非抹除处理 LLM 两用知识
Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs
AI 导读
研究者提出 Token Inoculation 方法，在继续预训练阶段用特殊 token 标记危险句子，再微调模型拒答危险问题、但在该 token 下预测危险答案；测试时移除 token，模型便不输出已学会的危险答案。在 1.5B 至 14B 参数、三个架构族上，危险准确率维持在约 18%，同时保留 instruct 基线 93% 的 MMLU 表现。该成果被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：在军民两用领域，危险知识与围绕它的良性专业知识共享词汇、概念和因果结构。这种重叠使得选择性拒绝变得困难，而现有的遗忘和拒绝训练等方法会将其抑制过度泛化到良性一侧。我们主张采用条件化，而非抑制。在这项工作中，我们引入了 Token Inoculation，在持续预训练期间用特殊 token（接种 token）标记危险句子。然后我们微调模型，使其拒绝危险问题，并在接种 token 下的相同问题上预测危险答案。在测试时，接种 token 不存在，因此模型不会表达它学会预测的危险答案。在 1.5B 到 14B 参数和三个架构系列中，它将危险准确率保持在 18% 左右，同时保留了 instruct 基线 MMLU 性能的 93%，是我们比较的基线中安全性与实用性平衡最好的。同样的优势在开放式生成和网络安全迁移中也能重现。我们通过因果 do(X) 分析对此进行了测试，该分析随机化条件信号的准确率，发现模型仍然知道的危险领域越多，拒绝就变得越有选择性。我们的发现强调了训练以预测必须被拒绝的响应的重要性，并勾勒了一个不会降低模型不断增长的前沿知识的安全对齐方向。项目页面：this https URL
| 评论： | NeurIPS 2026。21 页，12 张图，10 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.18639 [cs.LG] |
| （或 arXiv:2607.18639v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.18639 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seunghyun Lee [查看电子邮件]
[v1]
2026 年 7 月 21 日星期二 02:15:39 UTC（920 KB）
[v2]
2026 年 10 月 26 日星期一 09:22:39 UTC（434 KB）
来源：arXiv cs.CL · arxiv.org