arXiv cs.AI· Diancheng Kang, Zheyuan Liu, Ningshan Ma, Yue Huang, Zhaoxuan Tan, Meng Jiang·· 1 天前AI 评分31
提示词-激活对偶性：通过注意力层干预改进激活引导
Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions
AI 导读
研究提出 Gated Cropped Attention-Delta steering（GCAD），从系统提示词对自注意力的贡献中提取引导信号，并按 token 级门控施加，以解决 KV-cache 污染导致的多轮对话连贯性退化。在多轮基准上，GCAD 将平均连贯性漂移从 -18.6 改善至 -1.9，第 10 轮特质表达从 78.0 提升至 93.1，同时保持人格引导中的特质控制。
正文 · AI 翻译
摘要：激活引导通过在推理时向内部表示添加方向来控制语言模型的行为，但标准的残差流引导在有状态对话中可能失效。我们将 KV 缓存污染识别为一种关键失效模式：被引导的 token 状态会被存储并反复复用，使局部扰动转变为累积性的连贯性退化。为应对这一挑战，我们提出门控裁剪注意力增量引导（GCAD），它从系统提示对自注意力的贡献中提取引导信号，并以 token 级门控方式施加。在人格引导实验中，GCAD 在保持特质控制的同时显著改善了长程连贯性。在主要的多轮基准上，GCAD 将平均连贯性漂移从 -18.6 改善至 -1.9，并将第 10 轮的特质表达从 78.0 提升至 93.1。这些结果表明，当干预遵循模型已用于行为控制的提示介导通路时，激活引导会变得更加可靠。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.10664 [cs.CL] |
| （或 arXiv:2605.10664v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10664 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zheyuan Liu [查看邮箱]
[v1]
2026年5月11日星期一 14:44:32 UTC（7,026 KB）
[v2]
2026年5月14日星期四 04:08:33 UTC（7,026 KB）
[v3]
2026年11月10日星期二 22:35:27 UTC（8,152 KB）
来源：arXiv cs.AI · arxiv.org