arXiv cs.AI· Chunkit Chan, Kawai Chung, Sze Heng Douglas Kwok, Yuxuan Liu, Yauwai Yim, Tianshi Zheng, Haochen Shi, Qing Zong, Wong Kai Chung, Pak Hin Lau, Calvin Yang, Yifan Gao, Xiaoman Pan, Ginny Wong, Simon See, Yangqiu Song·· 1 天前AI 评分26
MuSeToM：评估 LLM 能否依据六类感官文本线索判断信念修正
MuSeToM: Multi-Sensory Evaluation of Belief Revision with Textual Cues Across Six Senses
AI 导读
研究者提出 MuSeToM，一个经人工验证的纯文本基准，用于评估 LLM 在心理理论推理中能否判断感知证据是否足以支撑他人修正信念。该基准含 2,415 个改编自 BigToM 和 OpenToM 的实例，文本线索覆盖六类感官。对 SOTA 模型的评测显示明显割裂：模型常能察觉信念可能变化，却难以给出更新后的信念，并频繁在感知显著但证据不足的线索上过度修正。
正文 · AI 翻译
作者：Chunkit Chan、Kawai Chung、Sze Heng Douglas Kwok、Yuxuan Liu、Yauwai Yim、Tianshi Zheng、Haochen Shi、Qing Zong、Wong Kai Chung、Pak Hin Lau、Calvin Yang、Yifan Gao、Xiaoman Pan、Ginny Wong、Simon See、Yangqiu Song
摘要：心理理论（Theory of Mind，ToM）是指推断他人心理状态的能力，对人类社交认知至关重要。现有针对大语言模型（LLM）心理理论的评估主要集中于静态信念归因和错误信念推理，却忽视了一个关键的社交推理方面：LLM 能否判断感知证据是否足以支持他人进行信念修正？为填补这一空白，我们提出 MuSeToM，一个经人工验证的、基于文本的基准，用于评估心理理论推理中的认知信念修正。MuSeToM 包含 2,415 个改编自 BigToM 和 OpenToM 的实例，其文本线索涵盖六个感官类别，用于测试模型能否判断主角何时应当修正信念，并推断出修正后的信念状态。利用 MuSeToM，我们在直接提示和思维链提示下系统评估了最先进的 LLM，揭示出一种明显的不一致：模型往往能察觉信念可能发生变化，却难以识别修正后的信念，并且经常在感知上显著但认知上不充分的线索上过度修正。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16662 [cs.CL] |
| （或 arXiv:2611.16662v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.16662 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chunkit Chan [查看邮箱]
[v1]
2026年11月12日星期四 11:38:52 UTC（8,533 KB）
来源：arXiv cs.AI · arxiv.org