arXiv cs.AI· Dikshant Kukreja, Gautam Gupta, Avni Mittal, Avinash Anand, Kritarth Prasad, Zhengkui Wang, Timothy Liu, Rajiv Ratn Shah, Aik Beng Ng, Simon See, Erik Cambria·· 11 小时前AI 评分38
研究揭示语言模型的“入侵通路”：非证据性上下文如何降低模型表现
The Intrusion Pathway: How Non-Evidential Context Degrades Language Model Performance
AI 导读
研究将语言模型受非证据性上下文干扰的失效机制定位到“入侵通路”：MLP 同时丰富查询主体与无关 token 的表示，鹦鹉学舌式注意力头把前缀内容带到预测位置。约十个“入侵头”（约占模型注意力头 1%）的掩码敲除可恢复 57% 的干扰导致性能下降，且对有用上下文影响有限；用干净残差替换受损末 token 的 oracle 探针在四项下游任务上平均恢复 97.6%。
正文 · AI 翻译
作者：Dikshant Kukreja、Gautam Gupta、Avni Mittal、Avinash Anand、Kritarth Prasad、Zhengkui Wang、Timothy Liu、Rajiv Ratn Shah、Aik Beng Ng、Simon See、Erik Cambria
摘要：当提示中包含非证据性上下文时，语言模型会失去准确性：这些上下文包括来自无关领域的不相关陈述，或随机的分布外 token，且没有与之竞争的答案，也与查询没有语义重叠。此类噪声普遍存在于检索增强、工具使用和长上下文部署中，但这一失败一直缺乏机制层面的解释。我们将这种损坏追溯到“侵入通路”（Intrusion Pathway）：它始于 MLP 同时丰富查询主体和无关 token 的表示，鹦鹉学舌头（parroting heads）将前缀 token 的内容携带到预测位置，而关系读取器（relational readers）在很大程度上避开无关来源。然而，保留的主体丰富性和选择性读取并不能阻止更广泛计算中的侵入。随后我们将这种干扰的一部分定位到一组稀疏的注意力头上，我们称之为侵入头（intrusion heads）。它们由前缀派生的写入会促进与干扰项相关的内容，而它们对正确答案的支持减弱主要源于较弱的非前缀贡献，而非前缀的直接抑制。这些头在不同任务和干扰类型之间可以迁移，并且在权重上与整合相关上下文证据的头基本不相交，从而能够实现类别条件干预。将受污染的最后一个 token 残差替换为其干净对应物——这是一种需要匹配的干净前向传播的 oracle 探针——在四个下游任务中平均恢复了 97.6% 的由干扰项引起的性能下降。一种可部署的掩码级敲除约十个头（约占模型注意力头的 1%），在有限代价下恢复 57%，同时对有用上下文的影响有限。
| 评论： | 32 页，25 幅图，29 张表。Dikshant Kukreja 和 Gautam Gupta 贡献相同。网站：此 https URL 代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.07778 [cs.AI] |
| （或 arXiv:2611.07778v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07778 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dikshant Kukreja [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 10:18:07 UTC（1,075 KB）
来源：arXiv cs.AI · arxiv.org