arXiv cs.CL· Zhenshuai Yin, Yongxin Guo, Mingda Zhang, Zhongze Luo, Haoyue Liu, Lianmin Zhang, Xiaoying Tang·· 14 小时前AI 评分38
从信念推理到任务行动：心智理论在可验证任务上的多层级评估
From Belief Inference to Task Action: A Multi-Level Evaluation of Theory of Mind on Verifiable Tasks
AI 导读
研究提出一套基于可验证任务的多层级评估，将心智理论（ToM）从故事问答延伸到实际决策与执行，用独立接口分别考察世界理解、信息获取、信念、决策和执行。
正文 · AI 翻译
摘要：有效的协作要求语言模型理解他人所知与所信，并据此行动。假设他人与自己信息相同的模型可能会省略必要的沟通，从而破坏协调。许多心智理论（ToM）基准通过故事问题评估心理状态推断，但回答正确并不能证明模型能在后续任务中运用这些判断。我们基于现有的可验证任务，引入了一种多层次评估。我们在保留原有约束和验证器的前提下，为家庭协作和日历排程引入了信息不对称。独立的接口分别评估世界理解、信息获取、信念、决策和执行。控制条件提供个人证据或正确信念，以区分状态恢复与状态使用。在六种模型配置中，这些能力出现分化。在匹配的排程案例中，Claude 能正确恢复所有智能体的信念，但仅在 67.9% 的案例中生成主观最优的计划。在家庭协作中，提供信念使 Qwen-27B 的成功率从 55.0% 提升到 75.0%，而 Qwen-4B 能正确回答每一个固定提供信念的来源问题，却仅完成 20.0% 的相应延续条件。这些结果说明，为何 ToM 评估必须将视角推断与独立验证的决策及任务后果联系起来。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34759 [cs.CL] |
| （或 arXiv:2610.34759v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.34759 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenshuai Yin [查看邮箱]
[v1]
2026年10月26日 星期一 03:06:04 UTC（6,361 KB）
来源：arXiv cs.CL · arxiv.org