arXiv cs.CL· Melanie Subbiah, Chia-En Jacklyn Tsai, Kathleen McKeown·· 11 小时前AI 评分38
ToMStories：用合成叙事评测语言模型的心理理论推理能力
ToMStories: Interpreting Theory-of-Mind in Synthetic Narratives
AI 导读
研究者构建了 ToMStories 评测数据集，包含约 6,000 个合成短叙事片段，每个片段配一道关于角色情绪、恐惧、动机或情感创伤的选择题或开放题，心理状态以隐含、明示或对话与描述相冲突三种方式呈现。
正文 · AI 翻译
摘要：理解他人往往需要根据其行为而非其明确陈述来推断他们的感受或需求。我们探究语言模型能否做出这些推断，以及它们是如何做到的。我们提出了心智理论故事（Theory-of-Mind Stories，ToMStories），这是一个评估数据集，包含约 6,000 个合成生成的短篇叙事小故事，每个故事都配有一道关于角色情绪、恐惧、动机或情感创伤的选择题或开放题。这些心理状态以隐含（展示）、明确（告知）或对话与描述之间存在冲突的方式传达。我们评估了十三个开放权重模型（1B-72B 参数），发现最大的模型在选择题上与人类相当，但在开放题上则不然。我们的分析指出，模型在解读和生成隐含心理状态时都做了简化，这表明合成数据可以帮助我们理解模型如何进行解读，但很可能高估了模型理解人类的能力。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22632 [cs.CL] |
| （或 arXiv:2610.22632v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22632 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Melanie Subbiah [查看电子邮件]
[v1]
2026年10月15日星期四 20:38:58 UTC（10,758 KB）
来源：arXiv cs.CL · arxiv.org