arXiv cs.CL· Evelina Leivada, Raquel Montero, Paolo Morosi, Natalia Moskvina, Tamara Serrano, Nikoleta Pantelidou, Marcel Aguilar, Fritz Guenther·· 12 小时前AI 评分38
研究：大语言模型的概率无法可靠区分可能语言与不可能语言
Large Language Model probabilities cannot reliably distinguish between possible and impossible language
AI 导读
一项新基准对 8 个模型提取对数概率并计算最小对困惑度差，发现不合语法句并未呈现独特的困惑度特征：语用异常句的困惑度与之相当，语义异常句的困惑度反而持续更高。研究表明概率不能作为语法性的可靠代理，仅凭概率差异无法推断模型内部的句法知识表征，关于模型能否区分可能语言与不可能语言的主张需用其他方法验证。
正文 · AI 翻译
摘要：针对大型语言模型的一项有争议的测试涉及区分可能语言与不可能语言的能力。尽管一些证据表明模型对跨越语法上不可能语言界限的内容具有敏感性，但该证据因测试材料的可靠性而受到质疑。我们使用模型内部表示作为直接手段，来研究大型语言模型表征语法与不合语法区分的方式。在一项新颖的基准测试中，我们从 8 个模型中获取对数概率之和，并计算最小对惊讶度差异，将分配给语法句子的概率与分配给以下句子的概率并列比较：(i) 较低频率的语法句子，(ii) 不合语法的句子，(iii) 语义上奇怪的句子，以及 (iv) 语用上奇怪的句子。预测是，如果字符串概率可以作为语法界限的代理，那么不合语法条件将在涉及语言违规的条件中脱颖而出，显示出惊讶率的峰值。我们的结果并未揭示不合语法提示具有独特的惊讶特征：在各模型之间，我们观察到语用上奇怪条件的惊讶度相当，而语义上奇怪条件始终显示出更高的惊讶度。因此，我们证明概率并不构成语法性的可靠代理，表明仅凭概率差异无法推断模型内部的句法知识表示。因此，关于模型能够区分可能语言与不可能语言的主张需要通过不同的方法学进行验证。
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2509.15114 [cs.CL] |
| （或 arXiv:2509.15114v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2509.15114 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Evelina Leivada [查看电子邮件]
[v1]
2025年9月18日星期四 16:17:48 UTC（695 KB）
[v2]
2026年10月26日星期一 08:49:23 UTC（338 KB）
来源：arXiv cs.CL · arxiv.org