arXiv cs.CL· Dengzhe Hou, Lingyu Jiang, Fangzhou Lin, Kazunori D Yamada·· 10 小时前AI 评分40
CogBattery：语言模型认知任务行为与结构的人类参照评测
CogBattery: Human-Referenced Evaluation of Cognitive Task Behavior and Structure in Language Models
AI 导读
CogBattery 用 13 个认知范式的文本改编版评测 54 个开源权重语言模型，并与各原始研究中的人类数据逐项对比。模型和人类一样对 n-back 诱饵反应更强，但在普通非目标上误报远多于人类；多数模型的置信度区分正误的能力弱于人类，且无论答对与否都选同一赌注。模型得分主要沿两个维度分布，第一维与规模密切相关，但更大模型并未更接近人类，预设认知分组也不优于同规模随机分组。
正文 · AI 翻译
摘要：人类认知任务让我们能够在受控条件下将语言模型与人类进行比较。然而，模型可能复现人类效应的方向，却犯下不同的错误。CogBattery 在 13 个认知范式的文本改编版本上评估了 54 个开放权重语言模型，并将每个模型与其来源研究中的人类数据进行比较。与人类一样，模型对 n-back 诱饵的反应强于对照项，但它们在普通非目标项上产生的误报远多于人类。大多数模型报告的置信度在区分正确与错误答案方面的表现不如人类，且大多数模型总是选择相同的下注，包括那些分类准确的模型。这些模式横跨多个模型家族。跨任务来看，模型得分共享两个维度。第一个维度与规模密切相关，但更大的模型并不总是更接近人类。预定义的认知分组相较于同等规模的随机分组，未显示出可靠的预测优势。这些结果表明，匹配人类效应方向并不能确立类人行为。CogBattery 提供了条件级别的人类参考，用于测试新模型中的错误与置信度报告。
| 评论： | 13 页，3 幅图，5 张表。代码见 此 https URL。由 CogArena 更名，以避免与同名的不相关基准混淆 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.24999 [cs.CL] |
| （或 arXiv:2607.24999v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.24999 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dengzhe Hou [查看电子邮件]
[v1]
2026 年 7 月 27 日星期一 18:56:13 UTC（957 KB）
[v2]
2026 年 10 月 30 日星期五 13:55:34 UTC（855 KB）
来源：arXiv cs.CL · arxiv.org