arXiv cs.CL· H\'ector Javier V\'azquez Mart\'inez, Charles Yang·· 10 小时前AI 评分34
用儿童语言习得指标衡量语言模型的形式与功能能力
Measuring Form and Function in Language Models
AI 导读
研究提出 Contextual Alternative Choice(CAC)提示方法,用儿童语言习得中关于英语限定词的形式句法与功能语篇指标来评测语言模型。结果显示,在可比数据量下训练的现有模型均无法同时达到人类儿童的形式与功能基准,但部分超大规模模型可以做到。
正文 · AI 翻译
摘要:我们引入儿童语言习得的量化指标来评估语言模型。我们关注英语中限定词的形式句法和功能语篇属性,这些属性幼儿能够早期且准确地习得。我们提出上下文替代选择(Contextual Alternative Choice,CAC),这是一种新的提示方法,为语言的句法知识和语篇知识提供有针对性的测试。该方法能够将语言模型与儿童进行直接比较,更重要的是,与实证研究中独立建立的统计基准进行比较。目前在可比数据量上训练的模型没有一个能同时满足形式基准和功能基准,就像人类儿童那样,但一些超大型模型可以做到。我们将结果作为方法学和技术贡献呈现,特别强调语言模型的认知地位。
| 评论: | 正在接受 ACL Rolling Review 2026 年 5 月周期的评审 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2605.28616 [cs.CL] |
| (或此版本的 arXiv:2605.28616v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2605.28616 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | 2026.babylm-main,第 438-458 页,匈牙利布达佩斯。计算语言学协会 |
| 相关 DOI: | https://doi.org/10.18653/2026.babylm-main.35
链接到相关资源的 DOI |
提交历史
来自:Héctor Vázquez Martínez [查看电子邮件]
[v1]
2026 年 5 月 27 日星期三 15:27:16 UTC(3,033 KB)
[v2]
2026 年 11 月 5 日星期四 21:05:28 UTC(3,033 KB)
来源:arXiv cs.CL · arxiv.org