Nvidia 等机构论文揭示：无关文本通过 intrusion heads 削弱模型对问题的利用

Rohan Paul· @rohanpaul_ai · X·2026-11-10 12:38· 3 小时前AI 评分54

AI 导读

Nvidia 等机构论文发现，提示中的无关文本主要通过削弱模型对问题的利用来降低正确答案的支持度，而非直接压制正确答案，机制可定位到少量 attention heads，即 intrusion heads。

正文 · 原文

Nvidia 与其他实验室的新论文表明，无关文本主要通过削弱模型对问题的利用来造成损害，而非直接压制正确答案。

RAG、工具调用和长上下文应用中的提示往往包含与问题无关的文本。甚至像“Computers are useful”这样一句话也会降低模型对正确答案的支持度。

他们在开放模型中追踪了这一现象，发现了 intrusion heads，即一小部分 attention heads，它们读取无关文本并削弱答案。屏蔽这些 head 对上下文的注意力后，使用有用证据的 head 不受影响。

在 7B 规模模型的 4 项任务中，屏蔽约 10 个 head 平均恢复了因干扰项而损失的 57% 准确率。需要匹配干净运行的 oracle 修复则恢复了 97.6%。

如果你用带有噪声检索上下文的开放权重模型提供服务，对少数模型特定的 head 进行免训练屏蔽，可以挽回大部分损失的准确率。

来源：Rohan Paul · x.com