arXiv cs.AI· Ziqun Bao, Xinyu Zhang, Yuchen Shao, Chengcheng Wan·· 10 天前AI 评分36
有害 SFT 在 LLM checkpoint 更新中留下连续痕迹
Harmful SFT Leaves a Continuous Trace in LLM Checkpoint Updates
AI 导读
研究发现有害合规 SFT 会在 checkpoint 更新空间中留下连续、依赖目标的排序痕迹，checkpoint 级坐标 s_H 在四个 7-8B 主干模型上与有害目标组成的 Spearman 相关性达 0.986-0.992。
正文 · AI 翻译
摘要：对后训练大语言模型的安全审计通常依赖于模型行为，需要执行模型并取决于可用评估的覆盖范围。这项工作提出了一个不同的问题：在监督微调（SFT）期间优化的目标行为是否会在检查点更新中留下可读的证据？我们发现，有害合规 SFT 会在检查点更新空间中诱导出连续的、依赖于目标的排序。使用由纯有害合规、安全目标和良性效用 SFT 定义的参考几何，我们发现检查点级别的坐标 s_H 能够追踪受控的有害目标组成，在四个 7-8B 主干模型上 Spearman 相关系数为 0.986-0.992，并且相同的排序在更大模型规模下依然存在。匹配的合规与拒绝对照表明，这一检查点痕迹反映的是 SFT 目标，而非有害输入暴露，而额外的对照排除了基于有害样本数量或一般训练强度的简单解释。基于这一结构，我们引入了 TRACE，一种仅基于权重的审计方法，它将未知检查点更新相对于冻结的有害和非有害参考原型进行定位，并将这种几何关系转换为连续的有害目标分数。TRACE 既不需要模型查询，也不需要访问未知的 SFT 数据，并且可以直接从检查点更新进行评估。在分布偏移、未见数据、不同 SFT 配置、部分检查点访问以及 LoRA/全参数微调下，该痕迹保持稳定，并与独立测量的攻击成功率呈正相关。即使在有害目标比例较低时，TRACE 仍具有信息量，在行为评估不可用或不完整时提供了一种互补的审计信号。代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2610.07518 [cs.LG] |
| （或 arXiv:2610.07518v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07518 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ziqun Bao [查看电子邮件]
[v1]
2026年10月5日星期一 23:28:45 UTC（936 KB）
来源：arXiv cs.AI · arxiv.org