arXiv cs.CL· Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini·· 2 天前AI 评分42
研究揭示微调数据如何侵蚀 LLM 安全性，提出 SimpleLoRIF 梯度过滤方法
Follow the Gradient: Tracing Safety Degradation Back to Training Data
AI 导读
研究者提出 SimpleLoRIF，一种可扩展的梯度嵌入方法，通过简化低秩归因并将反向传播限制在最后四个 Transformer 块，可对百万级样本数据集进行嵌入，将梯度归因从分析工具变为实用的后训练数据过滤器。
正文 · AI 翻译
摘要：在指令数据上微调大型语言模型（LLM）可能会悄然削弱其安全性，即使没有任何训练样本看起来有害。由于这些降低安全性的数据看起来无害，标准的内容过滤器难以捕捉它们。我们通过开发 SimpleLoRIF 来解决这个问题，这是一种可扩展的梯度嵌入方法，能够识别梯度与不安全行为对齐的微调样本。通过简化一种低秩归因方法并将反向传播限制在最后四个 transformer 块，SimpleLoRIF 能够对百万量级的数据集进行嵌入，将梯度归因从小规模分析工具提升为适用于完整后训练数据集的实用过滤器。我们首先在涌现性失准上验证了该方法，发现梯度可以将不安全代码训练数据与微调后出现的广泛有害行为联系起来，在失准模型的梯度空间中 AUC 高达 0.865。随后我们使用 SimpleLoRIF 构建了 SafeTulu，这是 Tulu 3 的一个版本，移除了与不安全响应梯度对齐程度最高的 20% 样本。在 SafeTulu 上训练使 Qwen、Llama 和 Olmo 上的 GCG 攻击成功率最多降低 22%，优于 LLM-as-a-judge 和先前的基于梯度的过滤方法，同时基本保持甚至提升了能力。最后，我们分析了被移除的数据，识别出一些可能研究不足的安全退化来源，例如工具执行失败和叙事算术。我们发布了 SafeTulu 以及一个 Hugging Face Space，让研究人员能够构建自己定制的 SafeTulu 版本用于微调，例如更改移除比例或仅过滤某些子集。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37481 [cs.LG] |
| （或 arXiv:2610.37481v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.37481 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saket Reddy [查看邮箱]
[v1]
2026年10月27日星期二 16:08:08 UTC（6,335 KB）
来源：arXiv cs.CL · arxiv.org