arXiv cs.AI· Marie Amale Huynh, Laura Bravo-S\'anchez, Lauren Klein, Nick Haber, Philip Fisher, Serena Yeung-Levy·· 10 小时前AI 评分32
NEST：首个评估幼儿非言语社交推理的多模态视频基准
Before Words, Beyond Speech: Evaluating Nonverbal Social Reasoning in Early Childhood
AI 导读
研究者提出 NEST，首个面向幼儿非言语社交推理的基准，包含人工标注的约 12 秒视频片段，覆盖自然场景、文化背景与发展阶段多样性。该基准采用组合式评估框架，将原子交互线索逐级构建为情境、行为、人际与开放式描述四个推理层级。
正文 · AI 翻译
摘要：儿童早期是社会学习高度密集的阶段，意义通过注视、手势和身体接触来建构。然而，这一社会互动的关键方面在多模态视频理解中仍未得到充分评估，因为现有基准优先关注成人以对话驱动的互动。我们通过 \bench（$\textbf{N}$aturalistic $\textbf{E}$arly-childhood $\textbf{S}$ocial in$\textbf{T}$eractions）来填补这一空白，这是首个以儿童为中心的非言语社会推理基准。\bench 包含 \totalvids 个人工标注的片段（$\sim$12 秒），这些片段在自然场景、文化背景和发展阶段上经过精心挑选以确保多样性。除了数据缺乏之外，该领域的针对性模型改进还受到粗粒度评估模式的阻碍，这种模式将基本感知与高阶推理混为一谈。为解决这一问题，\bench 引入了一种组合式模式，将原子互动线索构建为渐进的社会推理层次：情境性、行为性、人际性和开放式描述。对最先进视觉语言模型（VLM）的广泛分析揭示出明显的性能崩塌：尽管模型具有较强的情境识别能力，但在解码精确的行为和人际线索方面存在显著差距。我们将这些失败归因于特定的偏差，包括后果 grounding 不佳和时间敏感性。最后，我们通过使用领域适应策略评估 VLM，将 \bench 落地于现实世界应用。最终，\bench 为推进儿童早期具有社会根基的人工智能提供了一个严格的测试平台。项目页面：this https URL。
| Comments: | 被接收为 NeurIPS 2026 Spotlight 论文。项目页面见 \hyperlink{this https URL}{this URL} |
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2611.13213 [cs.CV] |
| （或 arXiv:2611.13213v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13213 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Laura Bravo-Sánchez [查看邮箱]
[v1]
2026年11月9日星期一 20:35:48 UTC（15,922 KB）
来源：arXiv cs.AI · arxiv.org