跳到正文
arXiv cs.AI· Dohyun Kim, Junyong Lhim, Kwanyong Park·· 10 小时前AI 评分26

MPRBench:评估视觉语言模型多模态个性化推理的系统性基准

A Systematic Benchmark for Evaluating Multimodal Personalized Reasoning of Vision-Language Models

AI 导读

研究者提出 MPRBench,一个专门评估多模态大模型(MLLMs)个性化推理能力的基准,包含 12 个子任务,并支持对代表性错误案例的可解释分析。实验发现,当前个性化 MLLMs 仍难以完成个性化推理,主要挑战包括对个性化概念识别不准确以及对无关个人信息敏感。该工作已被 WACV 2027 接收,代码与数据已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:人们常常通过对异构形式的个人信息进行整体推理来做出决策。在本文中,我们研究了多模态大语言模型(MLLMs)中相对较少被探索的多模态个性化推理能力。为此,我们提出了 \texttt{MPRBench},这是一个新颖且全面的基准,专门用于评估跨广泛任务和现实世界挑战的个性化推理。\texttt{MPRBench} 包含 12 个子任务,并额外支持对代表性错误案例的可解释分析。通过大量实验,我们发现当前的个性化 MLLMs 仍然难以进行个性化推理,原因在于若干关键挑战,包括对个性化概念的不准确识别以及对无关个人信息的敏感性。我们希望 MPRBench 能激发对 MLLMs 中个性化推理的进一步研究。代码和数据可在 此 https URL 获取
评论: 已被 WACV 2027 接收
主题: 人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2611.06259 [cs.AI]
  (或 arXiv:2611.06259v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.06259

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Dohyun Kim [查看电子邮件]
[v1] 2026年11月4日星期三 10:08:26 UTC(9,286 KB)

来源:arXiv cs.AI · arxiv.org