arXiv cs.CL· Michael C. Frank, Alvin W. M. Tan, Khai Loong Aw, Robert Z. Sparks, Victor Moreno, Grace Keene-Lee, Meesha R. Ryan, Tarun Sepuri, Jane Yang, Virginia A. Marchman, Daniel L. K. Yamins, Bria Long·· 11 小时前AI 评分31
在儿童真实生活视频上扩展跨情境词汇学习
Scaling cross-situational word learning on children's naturalistic experiences
AI 导读
研究团队用包含 48 名儿童、2441 小时纵向第一视角视频的 BabyView 语料训练跨情境词汇学习模型，模型能学到物体与标签的映射。使用互联网预训练的视觉表征时表现远高于仅从发育视频数据学习视觉表征，且大部分学习信号来自少数描述可见指称对象的语句。模型习得的词汇表征呈现可识别的人类式语义结构，但训练过程中的表现轨迹与儿童差异明显。
正文 · AI 翻译
作者：Michael C. Frank、Alvin W. M. Tan、Khai Loong Aw、Robert Z. Sparks、Victor Moreno、Grace Keene-Lee、Meesha R. Ryan、Tarun Sepuri、Jane Yang、Virginia A. Marchman、Daniel L. K. Yamins、Bria Long
摘要：儿童如何学习那些构成其早期词汇大部分的简单、具体词语的含义？关于许多词义的信息可以从词语与其指称物共现信息的逐渐积累中恢复出来，这一主张被称为“跨情境学习”。对比视觉—语言模型使得这一学习策略能够在自我中心视频数据上得到检验，这些数据记录了儿童早期在真实生活中接触的视觉和语言输入。该方法在小型数据集上的初步成功提供了概念验证，但当视觉模型在这些相同的自我中心视频上训练时，却难以学到稳健的视觉表征。跨情境词汇学习的表现对模型视觉表征质量的依赖程度如何？跨情境模型能否扩展到更大、更多样的数据集？为回答这些问题，我们在 BabyView 语料库上训练模型，该语料库包含来自 48 名儿童的 2,441 小时纵向自我中心视频。在该数据集上训练的模型学会了物体—标签映射，但当它们使用互联网预训练的视觉表征时，表现远高于仅从发展性视频数据中学习视觉表征的情况。此外，大部分学习信号由一小部分描述了可见指称物的话语承载。模型学到的词汇表征表现出可识别的类人语义结构，但模型表现随训练经历呈现的轨迹与在儿童中观察到的轨迹存在显著差异。跨情境学习是早期名词词汇的一种可行词汇学习策略，但构建在发展上合理的模型需要理解如何从自然情境数据中学习高质量的视觉表征。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31842 [cs.CL] |
| （或本版本的 arXiv:2610.31842v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.31842 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michael Frank [查看电子邮件]
[v1]
2026年10月22日星期四 19:24:51 UTC（2,197 KB）
来源：arXiv cs.CL · arxiv.org