注意力记忆约束与人类阅读时间的拟合比较

Lanni Bu 等作者提交的论文系统比较了多种基于注意力的记忆约束机制，考察其在不同模型规模和训练语料下对人类阅读时间的心理测量预测力与语法能力。结果显示，对中间 token 内容敏感的约束与人类阅读时间的对齐度最高，优于基于距离的约束。 研究还发现，在动态记忆课程下，心理测量拟合与语法能力出现分离，作者据此认为 Transformer 难以充当通用的认知模型。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。