arXiv cs.AI· Shuyue Stella Li, Priyanka Kargupta, Haocheng Wang, Jinu Lee, Dean Light, Shan Chen, Orevaoghene Ahia, Thomas L. Griffiths, Max Kleiman-Weiner, Jiawei Han, Asli Celikyilmaz, Yulia Tsvetkov·· 11 小时前AI 评分40
认知科学视角下的 LLM 推理：28 个认知元素分类体系与评测框架
Cognitive Foundations for Reasoning and Their Manifestation in LLMs
AI 导读
研究者将认知科学研究整合为涵盖推理不变量、元认知控制、表征与转换操作的 28 个认知元素分类体系，并对 18 个模型在文本、视觉、音频上的 192K 条推理轨迹及 1,346 条人类出声思维轨迹进行细粒度评测，发现模型能调用人类推理中的认知元素但使用方式不同。
正文 · AI 翻译
作者：Shuyue Stella Li、Priyanka Kargupta、Haocheng Wang、Jinu Lee、Dean Light、Shan Chen、Orevaoghene Ahia、Thomas L. Griffiths、Max Kleiman-Weiner、Jiawei Han、Asli Celikyilmaz、Yulia Tsvetkov
摘要：大语言模型（LLM）能解决复杂问题，却在更简单的变体上失败，这表明它们是通过与人类推理根本不同的机制得到正确输出的。为理解这一差距，我们将认知科学研究综合为一个包含 28 个认知元素的分类体系，涵盖推理不变量、元认知控制、用于组织推理与知识的表征，以及转换操作。我们引入一个细粒度评估框架，并将其应用于来自 18 个模型、覆盖文本、视觉和音频的 192K 条轨迹，以及在一个新的、领域无关的数据集上用于人机对比的 1,346 条人类出声思维轨迹。我们发现，模型能够运用人类推理中出现的认知元素，但在使用方式上存在差异。利用这些模式，我们开发了测试时推理引导，可自动搭建成功的推理拓扑结构，使最强模型在非结构化问题上的准确率提升 9.7 个百分点。对 1.6K 篇 LLM 推理论文的元分析显示，研究界集中于易于量化的元素，却很少关注自我意识，而自我意识的使用在人类与模型推理之间存在差异。通过在认知科学与 LLM 研究之间建立共享词汇，我们的框架能够诊断推理失败，并有原则地开发通过稳健认知机制而非虚假捷径进行推理的模型，同时提供大规模检验人类认知理论的工具。
| 注释： | 39 页，9 张表，9 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2511.16660 [cs.AI] |
| （或本版本使用 arXiv:2511.16660v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2511.16660 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shuyue Stella Li [查看邮箱]
[v1]
2025 年 11 月 20 日星期四 18:59:00 UTC（3,096 KB）
[v2]
2025 年 11 月 24 日星期一 18:59:30 UTC（3,981 KB）
[v3]
2026 年 11 月 5 日星期四 17:07:27 UTC（574 KB）
来源：arXiv cs.AI · arxiv.org