arXiv cs.CY· Nimun Bajwa, Massimo Poesio·· 12 小时前AI 评分31
在 Llama-3.1-8B-Instruct 上探测与引导大语言模型的安全相关行为
Probing and Steering for Safety-Relevant Behaviours in Large Language Models
AI 导读
研究在 Llama-3.1-8B-Instruct 上统一流程考察激活探针设计选择对欺骗、高风险意识和谄媚三种行为的影响。将两种估计器（均值差与逻辑回归）与三种 token 池化方案交叉组合，发现“逻辑回归擅长检测、均值差擅长引导”的读写分离在欺骗与高风险行为上成立，但在谄媚行为上反转。
正文 · AI 翻译
摘要：激活探针是语言模型残差流中计算出的方向，既用于检测与安全相关的行为，也通过将其方向加回残差流来引导这些行为。我们在同一流水线、同一模型（Llama-3.1-8B-Instruct）上，针对三种行为（欺骗、高风险意识与谄媚），探索此类探针背后的主要设计选择如何相互作用。该流水线将两种估计器（均值差与逻辑回归）与三种 token 池化方案（末位、均值与学习式注意力）交叉组合，选择适当的层来检测或引导某种行为，并对每个方向进行两次评估：作为该行为的检测器，以及作为将输出推向该行为的引导向量。将先前工作综合来看，似乎存在一种读/写分离现象，即逻辑回归最擅长读取（检测），而均值差方向最擅长写入（引导）。我们发现这一现象对欺骗和高风险成立，但对谄媚不成立，后者的模式正好相反。这种反转似乎部分源于数据而非估计器。最佳池化技术和层选择取决于行为和数据，且最擅长引导的层可能远早于最擅长检测的层。在改变模型感知与诱发行为之间应使用哪种引导指标取决于任务——两者可能完全不一致。导出的探针和方向支撑了一个交互式界面，用户可通过它直接对文本进行评分和引导。
| 评论： | 20 页，26 幅图，11 张表。代码、数据和交互式界面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.30363 [cs.LG] |
| （或 arXiv:2610.30363v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.30363 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nimun Bajwa [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 19:25:24 UTC（3,890 KB）
来源：arXiv cs.CY · arxiv.org