arXiv cs.AI· Marios Tsatsos·· 14 小时前AI 评分31
线性探针可从基座模型迁移至蒸馏语言模型，尽管方向发生旋转
Linear Probes Transfer from Base to Distilled Language Models despite Rotation
AI 导读
研究者在 Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B 四个基座模型上用 XSTest 训练线性探针。
正文 · AI 翻译
摘要：线性探针是一类读取语言模型内部激活的分类器，被广泛用于检测有害请求。它们训练和运行成本低廉，而训练过探针的审计者希望当模型被后继模型替换时能复用它，而不是为每个版本重新训练。我们测试了探针的可复用程度。对于四个基础模型（Qwen2.5-Math-7B、Llama-3.1-8B、Qwen2.5-14B、Qwen2.5-32B），我们在基础模型上用 XSTest 提示集训练一个探针，并将其原样应用于该基础模型的两个后继模型：DeepSeek-R1 蒸馏推理模型和开发者指令微调的聊天模型。我们发现，后继模型将区分不安全与安全提示的方向旋转了 17$^\circ$ 至 35$^\circ$，然而在 XSTest 上，迁移探针的 AUC 仅变化 $-0.011$ 至 $+0.027$，在从未用于训练的独立 OR-Bench 评估上仅变化 $-0.015$ 至 $+0.053$。在 XSTest 上，其安全提示刻意包含令人警觉的词语，探针比仅查看提示文本的分类器高出 0.15 至 0.20 AUC。在 OR-Bench 提示上，这一差距缩小至 0.03 至 0.20，且探针将 29\% 至 42\% 听起来有害但实际无害的提示标记为有害，因此它们读取的部分内容是有害的表象而非有害本身。因此，在这些模型家族中，在基础模型上训练的探针可在蒸馏后和指令微调后复用；它能在多大程度上读取文本线索之外的信息取决于测试集。
| 评论： | 16 页，10 幅图，5 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35586 [cs.AI] |
| （或 arXiv:2610.35586v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.35586 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Marios Tsatsos [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 15:15:34 UTC（134 KB）
来源：arXiv cs.AI · arxiv.org