arXiv cs.AI· Kawai Chung, Chunkit Chan, Yuxuan Liu, Yauwai Yim, Xi Yang, Wenbin Hu, Huihao Jing, Chiu Yeung Tang, Changxuan Fan, Ki Sen Hung, Tsun On Kwok, Haoran Li·· 3 天前AI 评分24
Jev-ToM：在类型化决策模型中评估心智理论
Jev-ToM: Evaluating Theory of Mind in Typed Decision Models
AI 导读
Jev-ToM 在来自 9 个心智理论（ToM）基准、覆盖 6 类能力的 11,117 道英文文本问题上，对比了 5 个类型化决策模型与 7 个生成式基线。TypeSafe Jev 取得 73.2% 的 source-balanced 准确率（含原生控制项），在全部 6 类能力上排名第一或第二，并在信念、目标/欲望/意图和情感上领先。
正文 · AI 翻译
作者：Kawai Chung、Chunkit Chan、Yuxuan Liu、Yauwai Yim、Xi Yang、Wenbin Hu、Huihao Jing、Chiu Yeung Tang、Changxuan Fan、Ki Sen Hung、Tsun On Kwok、Haoran Li
摘要：对话与协作助手会反复判断伙伴知道、相信或意图什么。类型化决策模型为有界心智理论（ToM）选择提供了一种可能替代生成式大语言模型的方案。我们提出 Jev-ToM，在来自九个 ToM 基准、涵盖六个能力组的 11,117 个英文文本问题上，比较了五种类型化决策模型和七种生成式基线。TypeSafe Jev 达到 73.2% 的源平衡准确率（包括原生对照），并在全部六项能力上排名第一或第二，在信念、目标/欲望/意图和情感方面领先。其他类型化模型在不同任务上展现出各自的优势。单独的资源比较表明，Jev 可以降低重复 ToM 选择的成本和等待时间。基于置信度的选择仍依赖于基准，而所提供的理由可能修复错误或推翻正确答案，取决于其附着方式。候选扩展揭示了不同的选择与输出有效性问 题。相关问题线索解释了 Jev 下游收益的大部分，而预测状态的影响则因任务而异。这些发现促使人们将 Jev 作为助手中心智理论选择组件进行测试，并将任务特定的置信度校准、候选设计和输出验证作为集成优先事项。
| Comments: | 代码与评估材料：this https URL |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18610 [cs.CL] |
| （或 arXiv:2610.18610v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18610 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Kawai Chung [查看电子邮件]
[v1]
2026年10月13日星期二 15:59:00 UTC（8,120 KB）
来源：arXiv cs.AI · arxiv.org