研究：大模型学不可能语言靠语义连贯性

Yaning Jia等作者发表论文，提出“语义连贯性”概念，并用不可能语言样本微调不同规模模型，考察其学习这类语言的能力。结果显示，十亿参数级大模型在不可能语言与可能语言上的表现相近，百万参数级小模型则在不可能语言上性能显著下降，且语义复杂度越高差距越大。 作者据此称，扩大模型规模使学习重心从语法规则转向语义理解：十亿参数级模型对低层语言扰动的敏感度降低三倍，同时在高层次语义扰动下保持稳定表现。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。