arXiv cs.AI· Kia-J\"ung Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp·· 11 小时前AI 评分34
研究揭示 CoT 如何干扰大推理模型的拒绝行为转向
Beyond a Single Direction: Chain-of-Thought Disrupts Simple Steering of Refusal
AI 导读
在 DeepSeek-R1-Distill-LLaMA-8B 上，固定 CoT 时激活转向仅能逆转 39% 的拒绝案例，而完全移除 CoT 后这一比例升至 70%，说明 CoT 会主动强化拒绝。
正文 · AI 翻译
摘要：大型推理模型（LRM）在生成最终输出之前会生成思维链（CoT）轨迹，引入了一种动态内部状态，这可能会使拒绝等控制机制变得复杂。与指令微调 LLM 中拒绝由单一方向子空间介导不同，大型推理模型（LRM）中的拒绝还依赖于 CoT。在 DeepSeek-R1-Distill-LLaMA-8B 中，当 CoT 保持不变时，激活引导仅在 39% 的情况下逆转拒绝，但完全移除 CoT 后这一比例升至 70%，表明 CoT 会主动强化拒绝。在两阶段干预中，模型在激活引导下重新生成其 CoT，94% 的情况下逆转了拒绝，而仅由此产生的 CoT 即使在移除引导后仍保留 48% 的效果。这表明 CoT 可以独立携带并重建合规信号。这些发现表明，LRM 中的拒绝被联合编码在残差流激活和 CoT 中。这种联合激活使 LRM 对仅针对激活层面的干预更加稳健，但也使 CoT 面临一种可能的替代表面攻击。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.26772 [cs.AI] |
| （或 arXiv:2605.26772v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.26772 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | ICML 2026 机制可解释性研讨会 |
提交历史
来自：Kia-Jüng Yang [查看电子邮件]
[v1]
2026年5月26日星期二 09:41:15 UTC（84 KB）
[v2]
2026年10月19日星期一 23:55:05 UTC（84 KB）
来源：arXiv cs.AI · arxiv.org