arXiv cs.AI· Vardhan Dongre, Joseph Hsieh, Viet Dac Lai, Seunghyun Yoon, Trung Bui, Dilek Hakkani-T\"ur·· 10 天前AI 评分36
LLM 为何在多轮对话中"断线"：注意力关闭与残差表征的通道转移机制
When Attention Closes: How LLMs Lose the Thread in Multi-Turn Interaction
AI 导读
研究提出"通道转移"机制解释 LLM 多轮交互中的指令遗忘：目标定义 token 通过注意力变得难以访问，但目标信息可能仍保留在残差表征中。团队提出 Goal Accessibility Ratio（GAR）指标，结合滑动窗口消融与残差流探针，在 Mistral 上强制关闭注意力通道后，20 项事实回忆任务准确率从接近满分骤降至 11%，且角色约束违规率超过对抗压力基线。
正文 · AI 翻译
摘要：大型语言模型可以在单轮对话中遵循复杂指令，但在长时间的多轮交互中，它们往往会丢失指令、人设和规则的线索。这种退化已在行为层面被测量，但尚未得到机制层面的解释。我们提出一种通道转换解释：定义目标的 token 通过注意力变得不那么可及，而目标相关信息可能保留在残差表示中。我们引入目标可及性比率（GAR），衡量生成 token 对任务定义目标 token 的注意力，并将其与滑动窗口消融和残差流探针相结合。当对指令的注意力关闭时，留存下来的内容揭示了架构。在不同架构中，这种转换产生性质不同的失败模式：一些模型在注意力消失时仍保持目标条件行为，另一些模型尽管残差目标信息可解码却仍然失败，而这种编码出现的层数从 2 到 27 不等。在 Mistral 中进行的一项模型内因果消融强制关闭注意力通道，使 20 项事实保留任务上的回忆率从近乎完美骤降至 11%，并在没有用户压力的情况下将人设约束违规提升至高于对抗性压力基线，两种效应都出现在可预测的交叉轮次。线性探针从残差表示中恢复每个回合的回忆结果，在所有四种主要架构上 AUC 最高达 0.99，而输入嵌入仍处于随机水平。在不同架构和模型规模中，注意力损失与残差可解码性之间的差距预测了目标条件行为能否在通道关闭后存活。我们贡献了 GAR 作为诊断工具、通道转换框架作为受控机制解释，以及在窗口化注意力关闭下对失败时机的参数化预测。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.12922 [cs.AI] |
| （或本版本的 arXiv:2605.12922v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2605.12922 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Vardhan Dongre [查看邮箱]
[v1]
2026年5月13日星期三 02:58:18 UTC（12,450 KB）
[v2]
2026年10月6日星期二 16:57:10 UTC（12,450 KB）
来源：arXiv cs.AI · arxiv.org