跳到正文
arXiv cs.AI· Shilong Zhao (Independent Researcher)·· 4 小时前AI 评分31

基于 Attention Residuals 的深度感知激活引导方法

Depth-Aware Activation Steering via Attention Residuals

AI 导读

研究者提出一种无需训练的深度感知激活引导流程,将 Attention Residuals 的可学习跨层通路与 Jacobian-lens 概念读出结合,在 Qwen3-0.6B 和 Qwen3.5-0.8B 上按深度权重分布 persona 向量,内部对齐与行为偏移均强于单层注入。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:激活引导是一种简单、无需训练即可调节 LLM 行为的方法,但现有方法通常只在单层注入向量,缺乏深度感知传播或内部验证机制。我们将两个近期思路——提供可学习跨层通路的 Attention Residuals(AttnRes)和 Jacobian-lens(J-space)概念读出——结合成一个轻量级的深度感知引导流程。在两个小型开源模型(Qwen3-0.6B 和 Qwen3.5-0.8B)上,按 AttnRes 风格的深度权重分配人格向量,比单层注入产生更强的内部对齐(更深层的概念余弦和排名,p<0.0001)和更强的行为偏移。该效应具有符号特异性:反向向量会反转全部六项指标,随机方向会降低对齐(p<0.0001),而短时间的 LoRA 微调会抹除该印记。注入严格重连注入点下游的注意力(上游 JS = 0.00000)。由此得出三项实用发现。第一,余弦读数的逐层几何分解:在注入层,123% 的增量是算术性的,而在下游 5-11 层,100% 是动力学性的。第二,强度窗口:效应在 0.3-0.7 范围内单调,之后生成崩溃(617 到 306 到 25 字符)。第三,指标纪律:关键词规则指标无法通过 LLM 评判验证(kappa <= 0.09),两项基于规则的结论被撤回。在引导目标上训练深度权重(200 步,冻结主干)使留出提示上的最终对齐提升 10 倍。跨人格向量保留了 96-99% 的效应:特异性针对随机方向成立,而非语义方向。我们贡献了一种实用、低开销的深度感知引导方法以及一套严谨的评估协议。代码和数据已发布。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.21655 [cs.CV]
  (或本版本使用 arXiv:2611.21655v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.21655

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Shilong Zhao [查看邮箱]
[v1] 2026年10月27日星期二 04:09:18 UTC(9 KB)

来源:arXiv cs.AI · arxiv.org