arXiv cs.CL· Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik·· 10 小时前AI 评分31
SKOP:通过键正交投影实现激活引导,减少 LLM 推理与检索性能退化
Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
AI 导读
研究者提出激活引导方法 SKOP(Steering via Key-Orthogonal Projections),通过保留模型依赖的少量 focus token 上的注意力模式、仅允许尾部 token 间重新分配,来抑制引导向量造成的注意力重路由。
正文 · AI 翻译
摘要:激活引导通过干预内部表示来控制 LLM 的行为朝向目标行为,但它往往会降低推理和检索性能。我们认为,这种权衡的一个主要原因是注意力重路由:引导向量改变了查询-键匹配,使注意力从上下文重要的 token 转向信息量较少的 token。为解决这一问题,我们提出了基于键正交投影的引导(SKOP),这是一种在不消除引导效果的前提下约束有害注意力重路由的引导方法。SKOP 通过保留模型在推理和检索时所依赖的一小部分焦点 token 上的注意力模式,同时允许在不太关键的尾部 token 之间重新分配注意力来实现这一点。在多个引导基准上,我们表明 SKOP 实现了最佳的引导-效用联合权衡,将效用退化降低了 5-7 倍,同时保留了超过 95% 的原始引导效果。我们的结果进一步表明,在原始引导方法无效的长上下文检索设置中,SKOP 可以通过避免注意力重路由来保持稳健的性能。
| 评论: | NeurIPS 2026 spotlight |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.06342 [cs.CL] |
| (或此版本的 arXiv:2605.06342v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2605.06342 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Haoyan Luo [查看邮箱]
[v1]
2026年5月7日星期四 14:29:18 UTC(6,229 KB)
[v2]
2026年11月19日星期四 18:43:57 UTC(3,769 KB)
来源:arXiv cs.CL · arxiv.org