arXiv cs.CL· Kohei Kajikawa, Lin Ai, Tatsuki Kuribayashi, Ethan Gotlieb Wilcox·· 9 天前AI 评分22
用 GPT-2 建模上下文窗口与指代关系对句子理解的影响
Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
AI 导读
研究系统改变 GPT-2 的上下文窗口大小，在四个大规模英语阅读时间数据集上发现 U 型关系：受限上下文（< 20 tokens）能捕捉局部记忆限制，但扩展上下文（500–1,000 tokens）整体心理语言学拟合度最高。
正文 · AI 翻译
摘要：语言模型（LM）常被用作模拟人类语言处理的工具。近期研究表明，严格限制 LM 的上下文窗口可通过模拟人类工作记忆约束来提升其与人类心理语言学数据的拟合度。然而，这种严格的记忆衰减方法可能忽视了人类对长距离结构表征（如语篇结构）的依赖。在本研究中，我们在四个大规模自然英语阅读时间数据集上系统地改变 GPT-2 的上下文窗口大小，并观察到一种 U 形关系：虽然受限上下文（< 20 个 token）能成功捕捉局部记忆限制，但扩展上下文（500--1,000 个 token）最终带来最高的整体心理语言学拟合度。为探究驱动这一收益的机制，我们进行了一项反事实推理时实验，通过将重复出现的语篇实体代词化来破坏跨句实体链。遮蔽这些结构联系会使更大上下文窗口的预测能力显著下降 20% 至 40%。我们的实验表明，追踪长距离共指关系是 LM 惊奇度与人类阅读行为对齐的重要因素之一，并近似反映了人类理解者在语言处理中使用全局语篇关系的程度。
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.32119 [cs.CL] |
| （或 arXiv:2609.32119v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.32119 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Kohei Kajikawa [查看邮箱]
[v1]
2026年9月26日星期六 00:43:56 UTC（580 KB）
[v2]
2026年10月8日星期四 01:48:04 UTC（580 KB）
来源：arXiv cs.CL · arxiv.org