arXiv cs.AI· Jinghan Zheng, Jiajun Shi·· 3 天前AI 评分22
从关系特定注意力头到共享干预：语言模型中的上下文夹带研究
From Relation-Specific Heads to Shared Interventions: Contextual Entrainment in Language Models
AI 导读
研究者在19个词汇-语义子类上通过事实干扰关系补全提示，识别出能减少上下文夹带的注意力头，发现同语义族迁移效果优于跨族迁移，且子类特定搜索反复重新发现许多全局共享头。干净补全与上下文使用探针表明，这种共享干预可减少有害复制，同时保留普通关系补全和简单上下文能力。研究认为，有害上下文跟随不应靠寻找孤立的关系特定回路，而应用异构攻击提示揭示可复用的干预目标。
正文 · AI 翻译
摘要：大型语言模型依赖提示上下文来执行上下文学习、遵循格式并适应局部证据。然而，这种能力也引发了鲁棒性方面的担忧：模型在回答后续查询时可能会复用先前上下文中不相关的词元。先前的研究将这种行为识别为上下文夹带，并发现某些注意力头在被消融后可减少该现象，认为这些注意力头在很大程度上是任务特定或关系特定的。但上下文夹带背后的机制是否真的按关系相互隔离，还是说按关系条件进行的搜索能够恢复出跨关系共享的可复用组件？我们使用涵盖 19 个词汇语义子类型的事实干扰项关系补全提示，识别出消融后可减少夹带的注意力头，并测试所得注意力头集合如何在精确关系、语义族和混合关系分布之间迁移恢复能力。同族迁移优于异族迁移；一旦移除全局共享的注意力头，族残差就会减弱；而子类型特定的搜索会反复重新发现许多全局注意力头。干净补全和上下文使用探测进一步表明，这种共享干预可以在减少有害复制的同时，保留普通关系补全和简单的上下文能力。我们的发现为上下文夹带及其缓解提供了更精确的视角：有害的上下文跟随最好不是通过寻找孤立的关系特定回路来解决，而是通过使用异构攻击提示来揭示可复用的干预目标，其效果受语义关系结构塑造。
| 评论： | 已被 AACL-IJCNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18674 [cs.CL] |
| （或 arXiv:2610.18674v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18674 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Jiajun Shi [查看电子邮件]
[v1]
2026年10月13日星期二 16:33:02 UTC（341 KB）
来源：arXiv cs.AI · arxiv.org