arXiv cs.CL· Jingcheng Niu, Xingdi Yuan, Tong Wang, Hamidreza Saghir, Amir H. Abdi·· 10 小时前AI 评分44
Llama See, Llama Do：LLM 语境裹挟与分心的机制分析
Llama See, Llama Do: A Mechanistic Perspective on Contextual Entrainment and Distraction in LLMs
AI 导读
研究者在多种语言模型和提示设置中发现“语境裹挟”现象：模型对提示中先前出现过的 token 赋予显著更高的 logits，即使是随机 token，说明该现象是独立于语义相关性的机制性效应。反事实提示的影响大于事实性提示，表明语义因素会调节裹挟强度。作者用基于可微掩码的方法定位出“裹挟注意力头”，将其输出置零后裹挟效应显著减弱，模型输出回归到无干扰上下文时的结果。
正文 · AI 翻译
摘要：我们在广泛的各类语言模型（LM）和提示设置中观察到一种新现象——上下文夹带（contextual entrainment），这为理解语言模型如何被输入提示中“无关”的上下文信息所干扰提供了一种新的机制性视角。具体而言，语言模型会对任何此前在上下文提示中出现过的 token 赋予显著更高的 logit（或概率），即便是随机 token 也是如此。这表明上下文夹带是一种机制性现象，其发生与这些 token 同问题或句子其余部分的相关性或语义关系无关。我们发现了统计上显著的证据，表明上下文夹带的强度受语义因素影响。反事实提示比事实性提示具有更大的效应，这表明尽管上下文夹带是一种机制性现象，它仍受到语义因素的调节。
我们假设存在一个注意力头回路——夹带头（entrainment heads）——对应上下文夹带现象。我们采用一种基于可微掩码的新型夹带头发现方法，在各种设置下识别出了这些头。当我们“关闭”这些头，即将其输出置零时，上下文夹带的效应显著减弱，使模型生成的输出回归到在未提供干扰性上下文时本应产生的结果。我们对上下文夹带的发现，以及通过夹带头对语言模型分心问题的探究，标志着在分心问题的机制性分析与缓解方面迈出了关键一步。
| 评论： | ACL 2025（杰出论文） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2505.09338 [cs.CL] |
| （或 arXiv:2505.09338v3 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2505.09338 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jingcheng Niu [查看邮箱]
[v1]
2025年5月14日星期三 12:33:05 UTC（599 KB）
[v2]
2025年6月27日星期五 11:15:26 UTC（599 KB）
[v3]
2026年11月4日星期三 04:51:11 UTC（595 KB）
来源：arXiv cs.CL · arxiv.org