arXiv cs.CL· Yaning Jia, Chunhui Zhang, Chiyu Ma, Zhongyu Ouyang, Ivory Yang, Soroush Vosoughi·· 10 小时前AI 评分38
规模即能力：大模型如何掌握“不可能语言”
Scaling Makes It Possible: How Large Models Master Impossible Languages
AI 导读
研究提出“语义连贯性”指标，通过在不可能语言样本上微调不同规模模型发现，十亿参数级大模型在不可能语言与可能语言上表现相近，而百万参数级小模型在不可能语言上性能显著下降，且语义复杂度越高差距越大。扩大模型规模使学习重心从语法规则转向语义理解，十亿参数级模型对低层语言扰动的敏感度降低三倍，同时在高层次语义扰动下保持稳定表现。
正文 · AI 翻译
摘要：尽管语言模型（LM）在自然语言任务中表现出色，但它们学习不可能语言的能力——即那些违反使人类语言可学习且具备功能性的结构、认知或逻辑约束的语言——仍存在争议。语言理论学家与从事小规模 LM 研究的实证研究人员之间的分歧进一步加剧了这一争议。为解决这一争议，我们引入了语义连贯性这一概念。该概念衡量语义信息在语言结构中被表达的有效程度，并考察 LM 在多种规模下的学习能力。通过在不可能语言样本上微调十亿参数级 LM，我们证明：较大的 LM 在不可能语言和可能语言上取得相似的表现，而百万参数级 LM 在不可能语言上训练时则出现显著性能下降。随着语义复杂度增加，这一性能差距进一步扩大。我们进一步表明，扩大 LM 规模会从根本上将学习重点从语法规则转向语义理解，十亿规模 LM 对低层语言扰动的敏感度降低为原来的三分之一，同时在高层次语义扰动下保持稳定表现。
| 评论： | 17 页，7 幅图，包括 6 页补充信息 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.02015 [cs.CL] |
| （或 arXiv:2611.02015v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02015 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yaning Jia [查看邮箱]
[v1]
2026 年 11 月 1 日星期日 15:58:51 UTC（923 KB）
来源：arXiv cs.CL · arxiv.org