新基准：概率难辨LLM语法能力

Evelina Leivada等作者发布论文，用新基准对8个大语言模型提取对数概率并计算最小对困惑度差，比较语法句与低频语法句、不合语法句、语义异常句、语用异常句的概率。结果显示，不合语法句并未呈现独特的困惑度特征：语用异常句的困惑度与之相当，语义异常句的困惑度反而持续更高。 研究据此认为，概率不能作为语法性的可靠代理，仅凭概率差异无法推断模型内部的句法知识表征；关于模型能否区分可能语言与不可能语言的主张，需用其他方法验证。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。