arXiv cs.AI· Yiran Huang, Zeyong Zhang, Bharat Biswal, Xin Di, Mengjia Xu·· 11 小时前AI 评分29
面向卡通电影社交与情感理解的大脑对齐多模态 LLM
Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
AI 导读
研究对比了扩散模型与自回归多模态 LLM 在三部卡通短片上的表现，用连续人类心理理论（ToM）与情感效价评分检验其时间对齐度，并将各来源评分分别用于受试者回归模型预测脑区 fMRI 响应。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）可为社会与情感内容提供可扩展的标注，但其与人类判断的时间一致性和神经预测价值仍需进一步评估。我们在三部短篇动画电影中，比较了基于扩散模型和自回归的 MLLMs 与连续的人类心理理论（ToM）及情感效价评分。行为分析评估了时间对齐的皮尔逊相关、评分分布以及前序场景描述的影响。各来源的评分分别用于受试者特异性回归模型，以预测区域 fMRI 响应。尽管存在系统性的分布差异，模型评分仍捕捉到了人类时间变化的某些方面，且效价的一致性通常强于 ToM。前序上下文在某些条件下改善了一致性，具体取决于模型和电影。在 \emph{The Present} 中，MLLM 评分显示出显著编码的区域多于人类评分，而在其他电影中效应更为有限。各评分来源之间的空间重叠主要出现在 MLLMs 之间；人类与模型评分之间的重叠有限，且主要涉及视觉、背侧注意和后部默认模式区域。这些发现支持 MLLMs 作为生成社会与情感内容脑预测标注的可扩展工具，同时凸显了系统性的评分差异以及与人类判断的一致性对模型和刺激的依赖性。
| 主题： | 人工智能（cs.AI）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.22706 [cs.AI] |
| （或 arXiv:2610.22706v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.22706 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiran Huang [查看邮箱]
[v1]
2026年10月15日 星期四 22:22:03 UTC（10,932 KB）
来源：arXiv cs.AI · arxiv.org