arXiv cs.AI· Zonghuan Li, Hayley Hung, Chirag Raman·· 3 天前AI 评分25
GesBench：多模态语言模型何时何地感知社会含义？
GesBench: When and Where Do Multimodal Language Models Perceive Social Meaning?
AI 导读
研究者提出 GesBench，一个基于人类交互的线索级社会感知基准，用累积子话语片段测量多模态 LLM 何时形成对说话人意图和社会可供性的稳定解读，并用人类注视引导的破坏评估人类关注区域对模型判断是否功能重要。该基准由 6000 多个话语级片段构建，涵盖开放式与闭源多模态模型，发现明显的人机差距：人类更早形成预测性理解且修正更频繁，模型则常在不同片段间含糊或重复。代码已公开。
正文 · AI 翻译
摘要：人类的社会感知是渐进的：我们在一句话说完之前就推断意图，随着新线索的出现修正我们的理解，并关注塑造社会意义的特定面部、手势或韵律信号。当前的多模态 LLM 基准大多在完整片段上评估最终答案的理解，奖励的是对社会意义的回溯性识别，而非实时交互所需的逐步展开的感知。借鉴多模态人类交流中嵌入交互的格式塔原则，我们提出了 GesBench：一个基于人类的多模态 LLM 线索级社会感知基准。GesBench 使用累积的子话语片段来衡量模型何时形成对说话人意图和社会可供性的稳定解释，并使用人类注视引导的破坏来评估人类关注的区域对模型判断是否具有功能重要性。GesBench 基于来自脚本化和非脚本化对话数据集的 6000 多个话语级片段构建，包含在代表性子集上对逐步展开的判断和注视的人类标注。在开源和闭源多模态模型中，我们发现明显的人机差距：人类很早就形成预测性理解并更频繁地修正，而模型在不同片段之间往往含糊其辞或重复。GesBench 将社会评估从模型最终是否识别意义转变为该意义何时何地形成。我们的代码公开于 this https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15129 [cs.AI] |
| （或 arXiv:2610.15129v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15129 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zonghuan Li [查看电子邮件]
[v1]
2026年10月10日星期六 19:15:11 UTC（7,086 KB）
来源：arXiv cs.AI · arxiv.org