arXiv·· 13 天前AI 评分22
别只看 LLM 的激活值：用反事实激活潜力发现被抑制的安全特征
Don't Judge an LLM Only by Its Activations: Discovering Suppressed Safety Features via Counterfactual Activation Potential
AI 导读
现有机制可解释性工具只关注 LLM 中被激活的神经元或特征，忽略了大量未激活组件。该研究发现，未激活集合中包含对拒绝有害提示词具有因果作用的安全关键特征，抑制这些特征可让模型从拒绝转为顺从，且能躲过主流可解释性工具的检测。作者为此提出反事实激活潜力（Counterfactual Activation Potential）方法。
来源：arXiv · arxiv.org