arXiv cs.CL· Caixin Kang, Yifei Huang, Liangyang Ouyang, Mingfang Zhang, Ruicong Liu, Yoichi Sato·· 2 天前AI 评分28
MLLMs 能读懂房间吗？评估多方社交互动中欺骗行为的多模态基准
Can MLLMs Read the Room? A Multimodal Benchmark for Assessing Deception in Multi-Party Social Interactions
AI 导读
研究者提出 MIDA——一个包含同步视频与文本、每条陈述均有可验证真值标签的多模态数据集，用于评估 MLLMs 在多方社交互动中的欺骗识别能力。对 12 个开源与闭源 MLLMs 的基准测试显示，即便 GPT-4o 也难以可靠区分真实与欺骗性陈述。
正文 · AI 翻译
摘要：尽管具备先进的推理能力，最先进的多模态大语言模型（MLLMs）仍缺乏人类智能的一个核心组成部分：在复杂社交互动中“读懂气氛”并评估欺骗的能力。为严格评估这一局限，我们提出了多模态交互式欺骗评估（MIDA），这是一个新的任务和多模态数据集，包含同步的视频和文本，并为每句陈述提供可验证的真实标签。我们对 12 个最先进的开源和闭源 MLLMs 进行了基准测试，并发现了一个显著的性能差距：即使是 GPT-4o 这样强大的模型也难以可靠地区分真实陈述与欺骗性陈述。我们的分析表明，当前模型难以将语言建立在多模态社交线索之上，也难以对他人所知、所信或所意图的内容进行建模。为解决这些局限，我们提出了社会思维链（SoCoT）推理流程和动态社会认知记忆（DSEM）模块。实验结果表明，结构化的认知记忆能持续提升欺骗评估，而多模态社交线索推理仍是未来研究一个具有挑战性且重要的方向。
| 评论： | 已被 EMNLP 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2511.16221 [cs.CV] |
| （或 arXiv:2511.16221v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2511.16221 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Caixin Kang [查看电子邮件]
[v1]
2025年11月20日星期四 10:44:21 UTC（4,361 KB）
[v2]
2026年10月15日星期四 14:15:08 UTC（7,065 KB）
来源：arXiv cs.CL · arxiv.org