arXiv cs.CL· Claire Bonial, Claire Benet Post, Laura Michaelis, Harish Tayyar Madabushi·· 12 小时前AI 评分31
大语言模型的语言能产性研究:模型会强制转换,但不会抢先排除
Linguistic Productivity in Large Language Models: Models Coerce, but do not Preempt
AI 导读
一项跨多种规模与架构模型的测试发现,更大模型能识别强制转换(coercion)情形下的构式能产性,即使涉及新词;但即便最大模型也无法复现抢先排除(preemption)这一保守策略,不会利用负面证据在竞争性语法选项间做选择。研究认为,强制转换因兼具意外性与语义动机而可被检测,抢先排除则缺乏此类信号——被回避的词-构式配对没有记录,只有实际产出的才有。
正文 · AI 翻译
摘要:基于用法的语法理论通过两种互补的推理策略来解释语言使用者理解和生成新颖词语组合的能力。在强制(coercion)情形中,语言使用者遇到与语法语境不匹配的词语时,会以化解冲突的方式重新解释该词。在抢占(preemption)情形中,使用者推断某个本来似乎合理的结构不可用或不被偏好,因为它没有出现在预期会出现的语境中。大型语言模型也是基于用法的,即语言结构是通过接触海量文本而习得的。在此,我们检验强制与抢占这两种相反的力量是否也会促进和约束 LLM 的语言生成能力。我们在不同规模和架构的模型上证明,较大的模型能够识别强制情形中的构式生成能力,即使这些情形涉及新词。然而,我们也表明,即使最大的模型也无法复现针对新词的保守性抢占语言策略:特别是,它们在相互竞争的语法选项之间做选择时,似乎并未利用负面证据。我们得出结论:强制之所以可被检测,是因为它既令人意外又有语义动因:当一个词与其句法语境不匹配时,该词的意义可以被调整以适配语境。抢占则没有这样的特征。被回避的词汇-构式配对没有记录——只有被生成的配对才有记录。这种不对称有助于解释为什么模型会强制(创造不匹配的符号组合)却不会抢占(避免非常规但语义上站得住脚的组合)。
| 评论: | 18 页,9 张表(含附录) |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2606.02953 [cs.CL] |
| (或 arXiv:2606.02953v2 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2606.02953 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Claire Bonial [查看邮箱]
[v1]
2026 年 6 月 1 日星期一 23:11:39 UTC(134 KB)
[v2]
2026 年 10 月 21 日星期三 14:11:54 UTC(100 KB)
来源:arXiv cs.CL · arxiv.org