arXiv cs.CL· Xiang Ding·· 11 小时前AI 评分38
语言模型会保留被放弃的分析：花园路径句后的残留与适应
Language Models Keep Abandoned Analyses: Residue and Adaptation after Garden-Path Sentences
AI 导读
研究在 24 个 124M 至 70B 参数的开源模型中发现，花园路径句会在上下文中留下两种痕迹：被放弃分析产生的残留使后续宾语附着倾向提升约四分之三，且该效应出现在采样文本、留出集与人类常模项目上；朝向已消歧结构的适应则随消歧误差增大而增强，主要作用于理解类指标。
正文 · AI 翻译
摘要：阅读“While the man hunted the deer ran into the woods”这句话时，需要放弃把“the deer”分析为“hunted”宾语的解读。刚刚读过这句话的人仍会产出更多及物结构，因此被放弃的分析会启动后续语言。我们探究语言模型是否会继续使用一个已被放弃的分析，以及模型中的什么承载了它。在从 124M 到 70B 参数的 24 个开放模型中，一个花园路径句在上下文中留下两处痕迹。被放弃分析的残留会提高后续的宾语附着，其效应约为名词短语确实是宾语的句子效应的四分之三，并且它出现在采样文本中、在留出项目和人类规范项目上，以及第二种花园路径中。向已消解结构的适应随句子的消歧错误而缩放，并且主要作用于类似理解的测量。激活修补将两者分开。后续文本从名词短语状态中的角色信息读取残留，这些状态是在消歧之前、在宾语分析下计算出来的，替换这些状态几乎消除了 32B 和 70B 模型中的全部残留。适应则从处理消歧的状态中读取。被覆盖的陈述表现出同样的持续性（在 9 个模型中的 8 个里，被修正的值仍会拉动后续预测），并且在大多数模型中，这种拉动由陈述之后的位置承载。最后，人类范式只有在控制标点后才能迁移，因为模型自己也会写出花园路径句，这反转了该范式的原始统计量。
| 评论： | 16 页，5 幅图，7 张表 |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.36797 [cs.CL] |
| （或 arXiv:2610.36797v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36797 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ding Xiang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 07:59:28 UTC（118 KB）
来源：arXiv cs.CL · arxiv.org