研究发现语言模型保留已放弃的句法分析

Xiang Ding 提交的论文称，在 24 个参数规模从 124M 到 70B 的开源语言模型上，花园路径句会在上下文中留下两种痕迹。被放弃的分析产生的残留使后续宾语附着倾向提升约四分之三，这一效应出现在采样文本、留出集与人类常模项目上。 论文还称，模型会朝已消歧结构适应，且这种适应随消歧误差增大而增强，主要作用于理解类指标。上述结论均来自该论文的表述。

AI 根据报道生成 · 32 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。