arXiv cs.AI· Lichen Li, Ziping Dong, Sicheng Feng, Qi Li, Xinchao Wang·· 1 天前AI 评分35
SO-Arena：评测 System One 模型能力谱系与决策可靠性的基准
SO-Arena: Benchmarking the Capability Spectrum and Reliability of System One Models
AI 导读
研究者推出 SO-Arena 基准，覆盖 11 个领域和五类能力，从能力谱系与决策可靠性两个维度评测 System One 模型。除准确率外，它还考察选项集受控变化下的决策稳定性和无有效选项时的缺失答案识别能力。对 21 个模型的评测显示，规模扩展与额外推理的收益因领域差异明显，整体表现最强的 System One 模型在可靠性上仅排第七。
正文 · AI 翻译
摘要：System One 模型承诺无需冗长的 token 生成即可实现快速、通用的决策。然而，要理解其能力谱系和决策可靠性，仅靠当前基准上的总体性能是不够的。现有评估往往难以充分揭示模型能力的广度及其决策的可靠性。我们提出 SO-Arena，一个覆盖 11 个领域和五个能力族、用于刻画 System One 模型能力谱系与决策可靠性的基准。在能力谱系方面，SO-Arena 通过可靠来源以及针对模型可见输入对参考标签进行人工核验，提供有证据支撑的评估；通过领域特定的难度标准进行细粒度能力评估；并开展真实交互式评估，让模型在沙箱中迭代执行动作。推理密集型任务还可进一步支持 System One 与 System Two 的对比。除准确率外，SO-Arena 通过两项互补指标评估决策可靠性：在受控选项集变化下的决策稳定性，以及在没有有效选项时对缺失答案的识别能力。对 21 个模型的评估表明，规模扩展和额外推理带来的收益在不同领域间差异显著。更重要的是，出色的总体性能并不必然意味着可靠的决策：表现最佳的 System One 模型在可靠性上仅排名第七。这些发现共同表明，有必要将能力谱系与决策可靠性作为互补维度加以刻画，从而系统性地审视 System One 模型的优势与局限。
| 评论： | 32 页，10 幅图，7 张表。项目页面：this https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.15777 [cs.CL] |
| （或 arXiv:2611.15777v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.15777 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lichen Li [查看邮箱]
[v1]
2026 年 11 月 11 日星期三 17:53:45 UTC（2,899 KB）
来源：arXiv cs.AI · arxiv.org