arXiv cs.CL· Dengzhe Hou, Kazunori D Yamada·· 10 小时前AI 评分34
S1CogBench：System One 决策模型在认知实验中能做什么、不能做什么
S1CogBench: What System One Decision Models Can and Cannot Do on Cognitive Experiments
AI 导读
研究者提出 S1CogBench，用 24 项认知任务评测 System One 决策模型（含 Jev、Laya 及五个开源模型），这是首个针对该类模型的认知实验基准。结果显示决策模型可靠性差异很大，行为表现好并不代表能预测人类，聚合分数会掩盖决策对条件的响应，其速度主要来自不生成文本。
正文 · AI 翻译
摘要：语言模型不再仅用于生成文本。软件还会让它们做出决策，例如在路由、护栏和自动门控中。System One 决策模型（也称为类型化决策模型），例如 Jev 和 Laya，会在合法选项中返回一个快速决策，不留下任何可供检查的文本。然而，一个快速且格式良好的决策并不能表明模型使用了证据。认知实验可以检验这一点，因为它们会改变任务要求并测量行为如何变化，但现有的认知基准评估的是语言和多模态模型。我们推出 S1CogBench，旨在探究这些模型在 24 项认知任务中能做什么、不能做什么，评估了五个开放模型和 Jev，并将条件与评分同已披露的适配区分开来。我们发现，决策模型在可靠性上差异很大，表现良好并不意味着能预测人类，聚合分数掩盖了决策如何响应条件，而速度主要来自不进行生成就作答。据我们所知，S1CogBench 是首个基于既有认知实验对 System One 决策模型进行评测的基准，它提供了一种共享测试，用于在软件依赖这些模型之前，检验其决策是否会对证据、反馈、记忆负荷和未来机会做出响应。
| 评论： | 13 页，4 幅图，12 张表。代码见 此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2611.00911 [cs.CL] |
| （或 arXiv:2611.00911v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00911 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dengzhe Hou [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 13:09:19 UTC（232 KB）
来源：arXiv cs.CL · arxiv.org