arXiv cs.CL· Matea Tashkovska, Na\"el Ouerghemi, Haozhe Qi, Alexander Mathis·· 12 小时前AI 评分31
SOMA：面向第一视角细粒度行为与身体运动理解的基准
SOMA: A Benchmark for Fine-Grained Egocentric Behavior and Body-Motion Understanding
AI 导读
研究者推出 SOMA 基准，用 1,632 道人工核验问题从第一视角视频评测身体运动理解，覆盖身体构型、运动动态与时间推理三个维度。在 37 个闭源、开源及专用第一视角 MLLM 中，最强模型 Qwen3.6-27B 零样本准确率仅 50.0%，低于人类 68.5%。
正文 · AI 翻译
摘要：感知人体运动对于理解和辅助人类的多模态系统至关重要。然而，当前对多模态大语言模型（MLLMs）的评估主要集中于物体、场景和粗粒度动作，对其推理身体本身的能力评估不足。从第一人称视角来看，这尤其具有挑战性，因为身体仅部分可见，运动必须从被遮挡且随时间分布的线索中推断。我们推出 SOMA，一个基于第一人称视频的细粒度身体运动理解基准，包含 1,632 个人工验证的问题，涵盖三个能力维度：身体构型、运动动力学和时间推理。我们评估了 37 个领先的闭源、开源和专用第一人称 MLLMs，并辅以广泛的人工评估。我们发现，人类仅凭视频也认为这项任务很难（68.5% 准确率），但明显优于最强的 MLLM（Qwen3.6-27B），后者达到 50.0% 的零样本准确率。我们的错误分析表明，MLLMs 经常误读佩戴者自己的身体、在时间上误判事件，并且容易产生偏差，例如偏好右手或低估重复次数。为缩小与人类表现的差距并支持进一步进展，我们引入了一个包含对齐视频、身体运动和语言监督的训练数据集，以及一个从这些模态联合学习的多模态基线。通过识别当前 MLLMs 中的常见失败模式和缺失能力，我们希望 SOMA 能启发未来关于身体运动理解和多模态推理的研究。完整基准、训练数据和代码将发布于：此 https URL
| 评论： | 代码和数据见：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.36384 [cs.CV] |
| （或 arXiv:2610.36384v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.36384 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexander Mathis [查看电子邮件]
[v1]
2026年10月26日星期一 22:59:14 UTC（15,071 KB）
来源：arXiv cs.CL · arxiv.org