arXiv cs.CL· Qiutong Tony Yi, Wang Bill Zhu, Robin Jia, Jesse Thomason·· 11 小时前AI 评分52
研究称 ToM 基准主要考察状态跟踪而非心智理论
Algorithmic Primitives of Theory of Mind Benchmarks
AI 导读
论文提出 PDDL-Mind 神经符号方法，将叙事解析为 PDDL 并对候选动作执行预定义更新算法，从而向模型提供程序验证的状态轨迹。在 MMToM、MuMA 和 FanToM 上，仅把解析交给程序就能让性能接近强智能体流水线，把状态跟踪交给 PDDL 则让 GPT-4o 接近人类水平。
正文 · AI 翻译
摘要：心智理论（ToM）基准真的在测试心智理论，还是实际上在测试解析和算法状态跟踪？尽管各基准在模态和对话长度上有所不同，本文发现它们重新编码的是同样少数几种状态转移算法。我们创建了 PDDL-Mind，这是一种神经符号方法，通过将叙事解析为规划领域定义语言（PDDL），并针对预定义的一组更新算法执行候选动作，从而显式地恢复此类算法以及 ToM 基准的上游归纳偏置。这样做为模型提供了经程序验证的状态轨迹。我们利用本方法的性能提升来审计我们的归纳偏置吸收了多少基准难度。在 MMToM、MuMA 和 FanToM 上，仅将解析外包给程序就能使性能接近强大的智能体流水线，而将状态跟踪外包给 PDDL 则使 GPT-4o 达到接近人类的表现。我们证明，复杂的 ToM 基准主要惩罚的是大语言模型对状态跟踪和解析算法不可靠的隐式实现，而非信念与反事实推理方面的局限。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.17819 [cs.CL] |
| （或 arXiv:2604.17819v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.17819 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qiutong Yi [查看电子邮件]
[v1]
2026年4月20日星期一 05:17:57 UTC（2,784 KB）
[v2]
2026年10月15日星期四 10:22:39 UTC（2,950 KB）
来源：arXiv cs.CL · arxiv.org