arXiv cs.AI· Seyedarmin Azizi, Arya Fayyazi, Parsa Razmara, Erfan Baghaei Potraghloo, Souvik Kundu, Massoud Pedram·· 3 天前AI 评分32
激活引导的曲率分析：锐利方向为何让 CAA 失效
The Sharp Directions Are Against You: Curvature Analysis of Activation Steering
AI 导读
研究提出 steering Hessian，用于刻画模型行为损失对引导向量的二阶导数，其顶部特征向量即"锐利方向"，微小扰动即可引发大幅且依赖输入的行为波动。
正文 · AI 翻译
摘要：激活引导在推理时向语言模型的内部表示添加一个向量。它是行为控制中微调的一种轻量级替代方案。标准构造方法——对比激活添加（CAA）——是脆弱的，因为在许多输入上它会使行为朝错误的方向偏移。为了解释这种脆弱性，我们首先研究引导向量的几何结构。我们引入引导 Hessian，即模型行为损失关于引导向量的二阶导数矩阵。它刻画了在引导向量沿各方向受到小扰动时模型输出行为的响应敏感度。其顶部特征向量是尖锐方向：沿这些方向的微小扰动可能引发大幅、不稳定、依赖输入的行为波动。底部特征向量是平坦方向：沿这些方向行为是稳健的。移除引导向量的尖锐分量可近似保持其方向和幅度（典型设置下余弦 > 0.974，范数缩减 < 3%），同时将该向量的方向曲率最多降低 12 倍（在 36 种条件下中位数为 4 倍）。我们在三个模型系列（Qwen2.5-7B、Llama-3.1-8B、Mistral-7B）上，使用四个行为任务和 36 种 token 级条件进行评估。沿尖锐方向进行引导在测试的每种条件下都会逆转预期行为，反向引导率为 53-100%。尖锐方向仅占 CAA 向量平方范数的 1-5%。然而，在自回归生成过程中，它们在引导与未引导的下一 token 分布之间的差距中占据了不成比例的份额。我们将这一行修正称为尖锐移除；在测试的全部 25 种条件下，它在开放式生成中均优于标准 CAA。一项越狱实验进一步表明，尖锐方向充当的是噪声而非信号：无论引导极性如何，它们都会破坏连贯的行为控制。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16084 [cs.AI] |
| （或 arXiv:2610.16084v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16084 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Parsa Razmara [查看电子邮件]
[v1]
2026年10月12日星期一 02:49:19 UTC（249 KB）
来源：arXiv cs.AI · arxiv.org