研究定位语言模型受无关上下文干扰的机制

Dikshant Kukreja 等作者发表论文，将语言模型受非证据性上下文干扰而性能下降的机制定位为“入侵通路”：MLP 同时丰富查询主体与无关 token 的表示，鹦鹉学舌式注意力头把前缀内容带到预测位置。 作者称，掩码敲除约十个“入侵头”（约占模型注意力头 1%）可恢复 57% 的干扰导致性能下降，且对有用上下文影响有限；用干净残差替换受损末 token 的 oracle 探针在四项下游任务上平均恢复 97.6%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。