arXiv cs.CL· Tianyu Chen, Xinyang Liu, Ruyi An, Zhendong Wang, Mingyuan Zhou·· 2 天前AI 评分44
System1-Arena：哪些决策可以交给 System 1？
System1-Arena: Which Decisions Can Be Left to System 1?
AI 导读
研究者推出 System1-Arena 基准，用 92k 道题、105 项任务和 138 个闭环环境，对比 System-1 模型与生成式推理模型在离散决策上的表现。
正文 · AI 翻译
摘要：大型语言模型（LLM）常常做出离散决策，例如标记钓鱼攻击或升级给人工处理。System-1 模型（如 Jev 和 OpenAI Decisions API）在单次前向传播中返回各选项的概率，而 System-2 方法则生成推理步骤。哪些决策可由 System-1 模型处理，哪些需要生成式推理？我们提出 System1-Arena，一个为所有模型提供相同决策请求并对其概率进行评分的基准。它包含来自 268 个公开来源的 105 项任务中的 92k 个问题，分为四组：文本分类与知识、应用决策、评估与控制、智能体与行动。它还包含 138 个闭环环境，从网络购物和 SWE-bench 编码控制到机器人、游戏和驾驶；在实时模式下，世界在模型决策时不断演化。我们评估了 30 个模型：7 个闭源 LLM、13 个在答案 token 处读取的开源 LLM，以及 10 个 System-1 模型。最大的 System-1 模型在非智能体准确率上匹配或超过快速闭源 LLM，同时概率校准更好，延迟仅为其四分之一。推理 LLM 准确率最高，成本约为快速 LLM 的 70 倍。在闭环中，大型开源 LLM 成功率最高（最高达 32.9%）；小型 System-1 模型很少成功。
| 评论： | 40 页。代码：此 https URL ；排行榜：此 https URL ；数据集：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21244 [cs.CL] |
| （或 arXiv:2610.21244v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tianyu Chen [查看电子邮件]
[v1]
2026年10月15日星期四 04:40:47 UTC（255 KB）
来源：arXiv cs.CL · arxiv.org