arXiv cs.CL· Lanni Bu, Xiulin Yang, Christian Clark, Alex Warstadt, Ethan Gotlieb Wilcox·· 11 小时前AI 评分31
超越静态与线性：哪种注意力约束最契合人类阅读时间？
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
AI 导读
研究系统比较了多种基于注意力的记忆约束机制在不同模型规模和训练语料下对人类阅读时间的心理测量预测力与语法能力。结果显示，对中间 token 内容敏感的约束与人类阅读时间的对齐度最高，优于基于距离的约束。动态记忆课程下心理测量拟合与语法能力出现分离，表明 Transformer 难以充当通用的认知模型。
正文 · AI 翻译
摘要：基于 Transformer 的语言模型被广泛用作人类语言加工的模型，然而其注意力机制允许无损访问完整的先前上下文，这与人类有限的记忆系统不同。我们假设，在 Transformer 的注意力机制中引入记忆约束，可以改善其与人类行为数据的拟合。以往的工作分别孤立地探索了单个约束，而我们则对不同模型规模和训练语料下的多种基于注意力的记忆机制进行了系统比较，同时评估了其对人类阅读时间的心理测量预测能力和语法能力。我们还比较了静态约束（约束强度在训练全程固定）与动态记忆课程。我们发现，对中间 token 内容敏感的约束在与人类阅读时间的对齐上始终表现最佳，优于基于距离的约束。我们观察到，在动态记忆课程下，心理测量拟合与语法能力之间存在分离，这表明 Transformer 无法充当一种放之四海而皆准的认知模型。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.23818 [cs.CL] |
| （或 arXiv:2608.23818v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.23818 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lanni Bu [查看邮箱]
[v1]
2026年8月24日星期一 20:54:29 UTC（116 KB）
[v2]
2026年10月23日星期五 17:08:52 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org